苹果研究团队公开了一项名为HALO的人形机器人研究。机器人本体使用宇树G1,背部固定一台Mac mini M4 Pro,运行阿里的千问模型。这套系统能够自主进入陌生家庭,完成找到椅子坐下、钻过桌底、推走箱子等任务。在6个此前从未见过、也没有提前扫描的真实环境中,360次测试的平均成功率为91%。

训练数据全部来自仿真合成,不依赖人工遥操作采集。团队用运动扩散模型生成全身动作,用程序化生成器INFINIGEN构建约1000个虚拟家庭,再在Isaac Sim中渲染出机器人头部相机看到的第一视角画面,最后由自动校验器筛掉穿模、脚底打滑等不合格样本。约1000个房间共产出16.3万条、近300小时的视觉-语言-动作配对样本。
算力消耗方面,论文提到,仅坐下技能的五万条样本就用了250张H100 GPU运行9小时;全部1178个房间的生成约使用300张GPU、26小时。场景多样性同样影响效果:在100个未见的模拟房间里,坐椅子的成功率从只用1个房间训练时的43%,提升到用100个房间时的81%,场景增加到1000个时则为84%。
HALO的运行分为三层,全部在机器人本体上完成,不联网、不遥控。编排器约0.5 Hz,由本地运行的视觉语言模型每两秒读取一次画面,把自由指令拆解为子任务序列;运动生成器为3 Hz,根据当前第一视角画面和子任务生成未来5秒的全身运动计划,包括29个关节角度和骨盆位姿;运动跟踪器为50 Hz,结合深度视觉与本体感觉执行运动计划。






