视觉和语言是当下模型的主粮,触觉几乎缺席。这不是工程疏忽,是采集难、标注难、复用难。但缺了触觉,缺的不只是一种感觉。
触觉提供的是哪类信息?
提供材质、温度、软硬、滑动趋势。这些信息视觉只能猜。看一块布,你猜它粗还是细;摸一下,你立刻知道。
猜和知道的差别,在需要精细力控的任务上会被放大。拧螺丝、折纸盒、切水果,全靠手上的反馈调力。
没有触觉会怎样用力?
会用力过猛或不足。视觉估计的摩擦系数是平均值,真实表面有局部差异。机器人按平均值施力,遇到光滑处打滑,遇到粗糙处压坏。
人靠触觉实时修正,修正的频率远高于视觉。这就是为什么手工活难被替代。
触觉数据为什么难采?
三个难点。第一,传感器贵且脆,大面积铺设成本高。第二,触觉是分布式信号,不是一张图,标注体系还没统一。第三,触觉和动作强耦合,脱离动作的触觉数据没意义。
所以现在的触觉数据集规模,比视觉小好几个数量级。
仿真能补触觉吗?
能补物理规律,补不了真实质地。仿真里的摩擦是参数,现实里的摩擦是历史:这块桌面被磨过、被油污过、被水泡过。
参数化的摩擦可以练基本动作,练不出对意外的敏感。
触觉缺失会影响概念形成吗?
会。很多抽象概念是从触觉隐喻来的:把握、支撑、压力、顺畅、卡住。这些词不是修辞,是身体经验的投影。
一个没有触觉的存在,能用这些词,但用得很平。它不知道卡住是什么感觉,只知道卡住是一个状态标签。
该怎么补这一块?
三条路并行。一是低成本触觉皮肤,把压力阵列做便宜,先覆盖指尖和掌心。二是跨模态对齐,用视觉预测触觉,再用少量真实触觉校正。三是任务驱动的采集,不为建库而建库,只在关键工序上采。
第三条最务实。全身体铺满传感器是科研项目,指尖加掌心是产品项目。
补上之后会怎样?
会得到一个动作更稳、失误更少、也更难被欺骗的系统。触觉是很难伪造的通道,视觉可以被贴纸骗,触觉不行。
到那一步,机器人才真正开始有身体,而不是只有一个会动的外壳。
这一步没人宣传,但它比再发一个更大的模型更能改变落地速度。
同簇还有哪几篇值得一起看?
想就这个话题接着到论坛聊吗?
前往 ziyuanagi.com 论坛 参与讨论