视觉和语言是当下模型的主粮,触觉几乎缺席。这不是工程疏忽,是采集难、标注难、复用难。但缺了触觉,缺的不只是一种感觉。

触觉提供的是哪类信息?

提供材质、温度、软硬、滑动趋势。这些信息视觉只能猜。看一块布,你猜它粗还是细;摸一下,你立刻知道。

猜和知道的差别,在需要精细力控的任务上会被放大。拧螺丝、折纸盒、切水果,全靠手上的反馈调力。

没有触觉会怎样用力?

会用力过猛或不足。视觉估计的摩擦系数是平均值,真实表面有局部差异。机器人按平均值施力,遇到光滑处打滑,遇到粗糙处压坏。

人靠触觉实时修正,修正的频率远高于视觉。这就是为什么手工活难被替代。

触觉数据为什么难采?

三个难点。第一,传感器贵且脆,大面积铺设成本高。第二,触觉是分布式信号,不是一张图,标注体系还没统一。第三,触觉和动作强耦合,脱离动作的触觉数据没意义。

所以现在的触觉数据集规模,比视觉小好几个数量级。

仿真能补触觉吗?

能补物理规律,补不了真实质地。仿真里的摩擦是参数,现实里的摩擦是历史:这块桌面被磨过、被油污过、被水泡过。

参数化的摩擦可以练基本动作,练不出对意外的敏感。

触觉缺失会影响概念形成吗?

会。很多抽象概念是从触觉隐喻来的:把握、支撑、压力、顺畅、卡住。这些词不是修辞,是身体经验的投影。

一个没有触觉的存在,能用这些词,但用得很平。它不知道卡住是什么感觉,只知道卡住是一个状态标签。

该怎么补这一块?

三条路并行。一是低成本触觉皮肤,把压力阵列做便宜,先覆盖指尖和掌心。二是跨模态对齐,用视觉预测触觉,再用少量真实触觉校正。三是任务驱动的采集,不为建库而建库,只在关键工序上采。

第三条最务实。全身体铺满传感器是科研项目,指尖加掌心是产品项目。

补上之后会怎样?

会得到一个动作更稳、失误更少、也更难被欺骗的系统。触觉是很难伪造的通道,视觉可以被贴纸骗,触觉不行。

到那一步,机器人才真正开始有身体,而不是只有一个会动的外壳。

这一步没人宣传,但它比再发一个更大的模型更能改变落地速度。

同簇还有哪几篇值得一起看?

想就这个话题接着到论坛聊吗?

前往 ziyuanagi.com 论坛 参与讨论