2026年11月16日 东莞 多云 26℃
快讯 更多 ›

NEO‑VLA推出原生视觉‑语言‑动作机器人策略

👤 凤凰网科技 🕒 2026-11-16 11:12:37 👁 1 💬 0

11月16日消息,近日,南洋理工大学 S‑Lab、商汤研究院与 Ropedia 的研究团队发布 NEO‑VLA,一款无独立视觉编码器的原生视觉‑语言‑动作(VLA)机器人策略模型。

它打破主流 VLA 模型依赖外置预训练视觉编码器的范式,像素直接输入主干网络,在仿真与真实机器人任务中取得突出表现,为通用机器人操控提供全新技术思路。

传统 VLA 模型普遍采用 “图像先经过独立视觉编码器压缩提取特征,再送入语言大模型” 的架构。但编码器在抽象特征的过程中,会丢失局部几何、边缘、深度等机器人操控至关重要的底层视觉信息,制约机器人精细操作与泛化能力。

NEO‑VLA 彻底移除外置视觉编码器,像素经由轻量化卷积 Patch 嵌入层直接送入原生视觉‑语言主干 NEO‑2B,图像 Patch 与语言指令在每一层中同步处理;配套 Flow‑Matching 动作专家模块,可以读取主干网络任意层的缓存特征,输出连续机器人动作,实现 “像素输入,连续动作输出” 端到端链路。

三大核心研究发现,刷新 VLA 认知

研究通过大量消融实验,得到三项关键结论,揭示机器人视觉运动学习的内在规律:

第一,操控相关视觉信息分布在模型多层,并非仅存在最后输出层。

冻结主干网络时,读取模型浅层特征的策略效果最优;完整微调后,跨多层读取特征的方案性能最佳。干预实验证明,模型 0‑10 浅层对预测动作影响最大;几何信息、图像外观、语言指令分别在网络不同深度产生最强作用,证明机器人控制不能只依赖顶层输出特征。

第二,性能提升来自原生联合预训练,而非单纯开放编码器中间特征。

团队将 Qwen3‑VL 的中间视觉特征直接开放给动作专家,非但没有提升效果,反而使冻结主干下 LIBERO 任务成功率从 79.5% 跌到 64.9%;而 NEO‑2B 冻结主干即可达到 90.9% 成功率。这说明:简单复用现成多模态模型的编码器中间特征无效,只有视觉、语言从底层联合预训练,才能产出适配机器人控制的表征,并非单纯开放中间层就可以解决问题。

第三,后训练阶段保留多模态理解能力至关重要,不能只拿动作数据微调。

实验显示,如果仅使用机器人动作数据微调,模型会丧失文本理解与生成能力,RoboTwin 2.0 跨场景 Clean2Rand 任务成功率仅 10.7%;而采用理解数据与机器人数据协同训练,多模态理解指标几乎不下降,同时 Clean2Rand 成功率提升至 69.4%。证明机器人策略训练不能牺牲大模型原本的理解能力,协同训练是更优方案。

仿真与真机双重验证,小体量实现强操控

NEO‑VLA 主干仅 2B 参数量,在仿真基准 LIBERO 完整微调后平均成功率95.3%;在 LIBERO‑Plus 分布偏移测试中,对相机变化、噪声扰动表现优异,加权总分 89.7%;RoboTwin2.0 随机场景泛化达到 69.4%,优于不少更大参数量竞品。

真实机器人设置三项实操任务:网球放置罐顶、胶带与球两级摆放、将易拉罐直立卡入胶带卷,每项任务仅提供 50 条演示数据。2B 规模的 NEO‑VLA 在多数任务中表现优于 StarVLA、与 π0.5 基本持平,完成精细放置、多步骤执行、物体姿态调整等真实物理操作,验证架构在现实世界的可行性。研究还展示倒水、寿司分拣等定性演示案例。

数据处理与训练方案

研究汇集 9 大公开机器人数据集,合计 223 万条 episode、约 9900 小时机器人数据。上线完整数据清洗流水线,过滤不合理关节读数、死通道、动作异常值、损坏片段,校验相机标定,最大限度保留有效样本。训练分为三阶段:先冻结主干训练动作专家;随后解冻全部权重,机器人数据与多模态理解数据协同训练;最后继续使用自有机器人数据微调,得到最终策略。

该项目已经开源论文、代码、模型权重与数据集,为具身智能领域提供新架构范式。研究表明,具身机器人控制应当充分利用模型全层级视觉表征,而不是仅依赖编码器输出的顶层特征,原生无编码器 VLA 架构,是通向通用机器人策略的一条可行路径。

来源:凤凰网科技(2026-11-16 07:53) 查看原文 >>

↑