谷歌起草首部机器人宪法
安全问题,一直是机器人的核心与焦点命题。
近日,谷歌DeepMind团队发布了三项重要进展:IC解密自动化机器人训练系统AutoRT、机器人速度优化系统SARA-RT和机器人泛化系统RT-Trajectory,这三项新系统分别从数据采集、决策速度和泛化能力等方面,帮助提升现实世界中机器人的智能水平。
(1)AutoRT:自动化机器人数据收集系统
AutoRT是一个机器人的数据自动采集系统。它整合了大规模的基础模型,如大型语言模型(LLM)、视觉语言模型(VLM)和机器人控制模型(RT-1、RT-2),通过这一系统,机器人可以部署到全新环境中,并采集各类训练数据。
它可以同时控制多台装备摄像头和机械臂的机器人,IC解密使其在不同环境中完成各种任务,收集数据。
研究人员花费7个月时间,利用AutoRT系统控制机器人在办公室内完成任务,已经收集了涵盖77000次试验和6650个独特任务的多样化数据,同时控制最多可达52台机器人。
AutoRT的优势在于,借助大规模基础模型的力量,可以显著提升机器人对人类语言指令的理解能力,并通过收集更丰富的数据,来训练机器人适应实际复杂环境。
(2)SARA-RT:加速机器人决策速度
SARA-RT优化了著名的Transformer模型在机器人领域的应用,使得机器人可以做出更快速的决策。
之前基于Transformer的机器人控制模型RT-2,其决策速度受到计算需求的制约,SARA-RT通过一种新的微调方法,将Transformer的二次复杂度降低到线性复杂度,大幅减少了计算量,使机器人的决策速度提高14%,同时准确率还提高10%。
这种可扩展的注意力机制,为将Transformer应用到更大规模的机器人中提供了可能。结合数十亿参数量的大型机器人模型,SARA-RT可以实现更快决策和更好性能。
(3)RT-Trajectory:提高机器人动作泛化能力
RT-Trajectory则在提高机器人泛化能力上有重要进展。IC解密对人类来说,擦桌子等动作简单直观,但机器人需要把抽象指令转化为具体运动。
RT-Trajectory通过解释机器人的具体动作,来帮助其深入理解如何完成一个任务,而不仅是简单匹配指令和动作。它会自动为训练视频中的机器人运动添加2D轮廓,作为视觉提示,辅助模型学习。
测试结果表明,在未见训练数据的41项新任务中,RT-Trajectory控制的机械臂任务成功率达到63%,较先进的RT-2模型提高一倍以上。这表明机器人的泛化能力得到显著提升。