在美国加州圣莱安德罗的一座仓库内,操作员安德鲁·塞哈(Andrew Ceja)正佩戴着特殊头显执行一项精细任务:从摇摇欲坠的积木塔中抽取木块。头显前端的摄像头记录着操作过程,而隐藏在设备内部的脑电传感器则同步捕捉着他的神经活动信号。这种将视觉、动作与脑电数据融合的采集方式,正为机器人训练开辟新的数据维度。
传统机器人训练依赖视频数据,摄像头能捕捉手部动作轨迹、物体位移等表面信息,却无法解析操作员的心理状态。当积木塔出现意外倾斜时,脑电传感器可在数百毫秒内检测到错误相关电位——这种神经信号比肢体反应提前数秒出现,为理解人类决策机制提供了关键线索。德国神经技术公司Zander Labs开发的被动式脑机接口技术,正是通过持续监测头皮电位变化,识别与认知负荷、错误处理相关的特征模式。
推动这项技术落地的AI数据平台公司Encord,由两位具有量化交易背景的创业者于2020年创立。创始人埃里克·兰道(Eric Landau)拥有斯坦福物理学与哈佛应用物理学双硕士学历,乌尔里克·汉森(Ulrik Stig Hansen)则从金融行业转型深度学习研究。公司初期通过为医疗领域标注结肠镜、放射影像等数据建立技术基础,随着服务领域扩展至制造、自动驾驶和机器人行业,其数据管理平台已支持超过5PB的非结构化数据存储。
在机器人训练场景中,Encord发现现有数据存在根本性缺陷。公开视频虽能展示人类倒咖啡等动作,却缺乏关节角度、触觉反馈、控制指令等深度信息。更关键的是,普通视频无法解释操作中断或方向改变的决策依据。为此,公司构建了包含真实场景道具的测试环境,操作员需在堆满假花、塑料蔬菜、服务器网线的仓库中,反复演练插拔网线、堆叠筹码等任务,为机器人提供标准化训练样本。
随着端到端学习方法的普及,单纯管理现有数据已无法满足需求。Encord机器人学习负责人维尼思·维尔穆甘(Vineeth Velmurugan)指出:"部分关键训练数据根本不存在,必须通过新技术创造。"与Zander Labs的合作正是这种探索的体现——在传统第一视角视频和遥操作数据基础上,脑电信号成为新的数据维度。据估算,经过深度标注的多模态数据训练价值可达普通视频的百倍。
Zander Labs开发的Zypher脑电方案采用耳周与前额电极设计,配合24通道微型放大器,可在实验室外实现连续采集。系统通过机器学习分类器识别错误相关电位等特征,再与操作视频进行时间对齐。当操作员发现积木塔倾斜时,脑电信号中的异常波动会被标记为潜在错误点,辅助数据审核人员快速定位关键片段。这种概率性标签虽不能直接解读思维内容,却能为机器人模型提供决策时刻的认知状态参考。
技术落地仍面临多重挑战。环境电磁干扰、肌肉运动伪影、电极接触变化等因素,可能导致信号噪声超过目标特征。不同个体的脑电模式差异,以及疲劳、压力等状态变化,也要求分类器具备更强的适应性。目前双方正在构建带脑电标签的测试数据集,通过客户机器人模型验证性能提升效果,再决定是否扩大采集规模。
除脑电技术外,Encord还在探索肌电传感器的应用。针对视频难以完整捕捉手部姿态的问题,前臂肌肉电信号可辅助还原三维空间位置。这种多模态数据融合策略,正在重塑机器人训练的数据生产范式——未来的训练样本或许将同时包含人类肢体的运动轨迹与大脑的决策密码。


