机器人最怕的不是手笨，而是“看不准”：一次视觉估计的反击战

当机器人能灵巧地转动物体，却因为摄像头轻微挪动就“失明”，问题不在控制，而在视觉。OpenAI 2018 年的一次实习分享，揭开了一个反直觉事实：再强的神经网络，也会被错误的视觉假设拖垮。

最反直觉的一点：机器人失败，往往不是因为不会动

如果你让一只“影子手”（Shadow Hand）像人类一样转动物体，真正的难点并不在五指协同的高维控制上，而是在更早的一步：机器人根本不知道物体“在哪里”。Hsiao-Yu Tung 一上来就点破了这个事实——在强化学习和机器人系统里，位置和姿态才是最关键的“主状态”。没有可靠的状态估计，后面的学习全是空谈。更讽刺的是，最准确的传统方案（3D 追踪器 + 标记点 + 多传感器笼子）虽然精度高，却贵、笨重、不通用，新物体还要重新贴标。它解决的是实验室问题，而不是现实世界问题。

用“眼睛”替代“标记”，看起来简单，实际是个坑

于是团队转向更“像人”的方案：只用摄像头。三台相机，从不同视角拍下同一场景，再用神经网络直接预测物体的 6D 位姿。结构并不复杂：三路卷积塔，各自处理图像，最后融合输出状态。真正的难点在训练数据——真实世界拍得到图，却拿不到准确的真值。解决方案是模拟器：在虚拟环境里复制机器人、物体和相机，不仅能读出精确的 ground truth，还能随意改纹理、光照和背景，制造极其多样的数据。这就是后来被广泛讨论的 domain randomization。但问题很快出现：只要相机位置和真实世界稍微不对齐，性能就断崖式下滑。有人不小心碰了一下摄像头，系统直接“报废”。

为什么随机化不够？因为网络根本“不懂几何”

一个看似合理的想法是：把相机位置疯狂随机化，让模型学会鲁棒性。但实验结果恰恰相反——随机得越狠，预测越差，甚至在模拟器里都学不动。这暴露了一个核心问题：普通的卷积网络，只是在拟合像素到输出的相关性，并没有真正理解“这是从哪里拍的”。Tung 用人类做类比：我们判断物体位置时，会同时关注物体本身和相机视角，隐含地用到了几何知识。于是他们在训练中加了两个“强制约束”：第一，多任务学习，让网络额外预测相机的位姿，逼它理解成像几何；第二，强制注意力，让网络预测物体和机器人手臂的 bounding box，只从关键区域提取特征。结果很直接：相机轻微偏移时，误差明显下降，姿态预测也更稳定。

这不是小技巧，而是一种方法论转向

这次分享最有价值的地方，不在具体网络结构，而在思路的变化：模拟器不仅是“造数据的机器”，还是“造监督信号的金矿”。除了随机化外观，更重要的是榨干模拟器里能拿到的几何、位姿和注意力信息，用额外任务把这些先验注入模型。Tung 在结尾明确强调：如果想让视觉模型真正理解 3D 世界，不能指望一个单一损失函数自己悟出来。这也解释了为什么早期端到端视觉在机器人上屡屡翻车——不是数据不够，而是监督太“单薄”。

总结

这场 2018 年的内部分享，今天看依然不过时。它给从业者的启发很现实：当模型在真实世界不稳，别急着怪算力或数据规模，先问一句——你有没有教会它“该看什么、怎么看”。对做机器人或仿真到现实迁移的人来说，下一步行动很明确：设计任务时，把几何、视角和注意力显式地变成学习目标，而不是隐含假设。一个值得继续思考的问题是：在更复杂、开放的环境中，我们还能从模拟器里挖出多少“被忽视的监督信号”？

关键词： 视觉状态估计， 仿真到现实， 多任务学习， 注意力机制， 机器人视觉

事实核查备注： 需核查：演讲者姓名 Hsiao-Yu Tung（昵称 Fish）；演讲时间与场合为 2018 年 OpenAI Summer Intern Open House；方法核心包括相机位姿预测与 bounding box 注意力；问题场景为 Shadow Hand 物体旋转任务。