3 月 29 日，智源辩论院在 2025 中关村论坛"翌日东谈主工智能前锋论坛"上发布首个跨践诺具身大小脑互助框架 RoboOS 与开源具身大脑 RoboBrain，可达成跨场景多任务轻量化快速部署与跨践诺互助，股东单机智能迈向群体智能，为构建具身智能开源长入生态加快场景应用提供底层技艺扶助。

具身智能操作框架 RoboOS+ 具身大脑 RoboBrain.mp4

△基于 RoboOS 及 RoboBrain 的多机器东谈主跨践诺互助寄递任务 Demo 增强长程操作任务才气，打造感知 - 说明 - 方案 - 行径闭环

在具身场景中，长程操作任务是机器东谈主践诺复杂任务的核心才气之一。具身大脑 RoboBrain 交融了机器东谈主任务指标、可操作区域感知、轨迹臆测的三维才气，通过将概述辅导映射为具象动作序列，增强长程操作任务的才气。

RoboBrain 由三个模块构成：用于任务指方向基座模子、用于可操作区域感知的A-LoRA 模块和用于轨迹臆测的T-LoRA 模块。在推理时，模子启程点感知视觉输入，并将输入辅导说明为一系列可践诺的子任务，然后践诺可操作区域感知和轨迹臆测。RoboBrain 遴荐多阶段磨真金不怕火战略，使其具备长历史帧顾虑和高辞别率图像感知才气，进而升迁场景感知和操作指方向才气。

RoboBrain 在职务指标、可操作区域感知和轨迹臆测评测任务中均发扬出不凡性能。

在职务指标方面，RoboBrain 在不糟跶通用才气的前提下，在机器东谈主指标评测集 OpenEQA、ShareRobot（自建）和 RoboVQA 上多个维度优于 GPT-4V、Claude3 等 6 个其时启程点的闭源 / 开源 MLLMs。

△RoboBrain 在具身指标评测基准上的性能

在可操作区域感知方面，RoboBrain 在 AGD20K 测试集上的平均精度越过了其时首先进的开源模子 Qwen2-VL，考证了其在辅导领略和物体属性方面的不凡才气。

△RoboBrain 在可操作区域感知基准上的性能

△RoboBrain 在轨迹臆测基准上的性能

在轨迹臆测方面，RoboBrain 臆测的操作轨迹具有与确切轨迹较高的一样度，展现了其在轨迹臆测中的高精度和涌现性。RoboBrain 的翌日迭代版块会连续提高轨迹臆测的才气。

现在，RoboBrain 好像解读东谈主类辅导和视觉图像，以生成基于及时图像反馈的行径指标和评估，臆测每一步的轨迹并感知相应的可操作区域。具体而言，RoboBrain 好像灵验运用环境信息和交互对象的情状——不管是从第一东谈主称依然第三东谈主称视角捕捉的图像——生成针对不同类型机器东谈主操作任务的任务指标，并基于东谈主类辅导和视觉信息，提供合理的可操作区域，并能在不同场景中发扬出邃密的泛化才气，生成既可行又合理的轨迹。

具身大脑 RoboBrain、小脑技巧库以及跨机器东谈主数据核心，是跨践诺框架 RoboOS 的核心身分。具身大脑 RoboBrain，认真全局感知与方案，构建动态时空感知、指标引导和反馈纠错机制；小脑技巧库，认真低延伸精确践诺，达成柔性与精密操作等；跨机器东谈主数据核心，认确切时分享空间、时候和践诺顾虑，为方案指标与优化互助操作提供信息扶助，从而酿成感知 - 说明 - 方案 - 行径的闭环。

一脑多机达成跨践诺互助，从单体智能迈向群体智能

跨践诺具身大小脑互助框架 RoboOS，基于"大脑 - 小脑"分层架构，通过模块化绸缪、智能任务料理和跨践诺互助，为机器东谈主提供高效、活泼、可彭胀的底层扶助，达成从单机智能到群体智能的跃迁。

在 RoboOS 的分层架构下，具身大脑 RoboBrain 的复杂场景感知与方案才气，可与小脑技巧库的高效践诺才气深度迷惑，确保互助框架在长周期、高动态任务中的涌现出手。达成大脑模子（如 LLM/VLM）与小脑技巧（如握取、导航）的"即插即用"，现在，可扶助松灵双臂、睿尔曼单 / 双臂、智元东谈主形、宇树东谈主形等不同类型的具身践诺。

通过分享顾虑系统（空间顾虑 / 时候顾虑 / 践诺顾虑），达成多个机器东谈主之间的情状同步与智能互助，打破传统"信息孤岛"截止，达成跨践诺互助适度。

RoboOS 可动态料理多机器东谈主任务队伍，扶助优先级霸占与资源优化分拨，确保复杂场景下及时反馈，达成高并发任务变嫌。

此外，RoboOS 可基于践诺反馈动态休养战略，迷惑环境变化，连续优化任务指标，升迁鲁棒性，作念到及时闭环优化。

在"寄递苹果和生果刀"的任务场景中，基于 RoboOS 及 RoboBrain，睿尔曼单臂机器东谈主（转运）、宇树东谈主形 G1（挑拣生果）、松灵双臂机器东谈主（挑拣生果刀）单干互助。

全体任务经过是睿尔曼调用"导航技巧"移动至餐桌前，宇树 G1 调用"视觉握取技巧"完成指定物体的挑拣，睿尔曼调用"握取技巧"拿起果篮并导航至松灵餐桌前。紧接着，松灵调用"握取技巧"赢得生果刀，并放弃在果篮中心，睿尔曼依据"空间顾虑"导航至办公桌位置，寄递果篮后复返待命。

RoboOS 采用"拿离杯子最近的生果，并寄递一把生果刀"辅导后，寄递 RoboBrain 进行任务拆解，并将拆解后的子任务分发给 3 台跨践诺机器东谈主。RoboBrain 通过 "空间顾虑" 感知环境，详情果篮、苹果位置，并废除名务为"宇树 G1 挑拣苹果→睿尔曼传递果篮→松灵机器东谈主握取生果刀→睿尔曼复返"。

各机器东谈主践诺践诺子任务过程中，由RoboOS 提供端云互助才气，将任务指标为技巧粒度，达成云霄 RoboBrain 分发指标，端侧践诺技巧并及时反馈。RoboBrain 识别"离杯子最近的生果位置"、"果篮握取位置 affordance "、"生果刀握取位置 affordance "、"果篮优游位置 Pointing "，经由RoboOS 寄递引导各机器东谈主践诺完成任务。

"即插即用"快速轻量化泛化部署，打造长入生态

RoboOS 当作面向多机器东谈主系统的跨践诺具身大小脑互助框架，专为料理现时具身智能落地过程中的通用性适配与多机变嫌困难而绸缪。针对异构践诺难以长入接入、任务变嫌效果低、穷乏动态造作反馈机制等痛点，基于 RoboOS 的"大小脑协同"的架构范式，云霄的具身大脑 RoboBrain 认真长入的任务领略、指标方案与高下文感知，践诺侧则接入轻量级的小脑践诺模块，达成感知 - 说明 - 方案 - 行径的闭环互助。

该机制好像动态感知践诺各异、活泼适配操作辅导、自动开发稀奇步履，灵验升迁系统在复杂任务场景下的鲁棒性与泛化性。RoboOS 原生扶助异构机器东谈主践诺的活泼接入，以 Profile 模板机制快速完成机器东谈主才气建模与适配。

践诺的小脑模块可调用包括开源技巧库、自研低阶适度器等多种技巧接口，酿成一个扶助模块复用、即插即用的出手体系，大幅缩小开发门槛与接入本钱。

在云霄，RoboOS 提供完备的模子适配与 API 接入才气，兼容自研的多模态 VLM，当作可插拔的大脑方案引擎，从而在处事机器东谈主、工业自动化、贤人物流、智能制造等领域撑持复杂任务的多机互助需求。

借助 RoboOS 的端云一体化协同才气与动态变嫌机制，扫数这个词系统不仅具备高度的彭胀性与可迁徙性，更为翌日具身智能的范畴部署与生态构建奠定了通用操作系统级的基础。

RoboOS 基于智源辩论院研发的并行磨真金不怕火与推理框架 FlagScale，原生扶助多机器东谈主系统的端云协同才气，打造具身智能的长入底座。系统在绸缪上充分商酌"多机器东谈主 - 多模态 - 多任务"场景，具备极高的可彭胀性与低时延反馈才气。

在端侧部署中，机器东谈主注册即可自动与云霄部署的 RoboBrain 大脑树立双向通讯链路，通过高效发布 - 订阅机制达成及时任务变嫌与情状反馈，辅导反馈延伸低于 10ms，满足复杂动态任务的闭环适度需求。

面向机器东谈主在长期出手中产生的海量感知与步履数据，RoboOS 提供基于内存优化的数据造访引擎，扶助 TB 级别历史数据的内存立地造访才气，为任务复现、稀奇回溯、跨任务常识迁徙等场景提供基础才气。迷惑 RoboBrain 的任务推理与战略优化模块，历史数据还可用于多机之间的互助常识分享，达成更强的智能演化与自主学习才气。

此外，FlagScale 当作底层撑持框架，扶助大模子在多斥地间的并行推理与多任务协同变嫌，可无缝集成视觉谈话模子、轨迹生成模块、感常识别等子系统，全面开释具身大模子的系统后劲。

现在，智源辩论院依托多模态大模子技艺上风资源，正在荟萃北大、清华、中科院等高校院是以及星河通用、乐聚、加快进化、宇树等产业链高下流企业，积极建设具身智能革命平台，要点开展数据、模子、场景考证等辩论。

这次智源辩论院发布的跨践诺具身大小脑互助框架 RoboOS 及开源具身大脑 RoboBrain，将有机交融和庸俗联贯不同构型的具身践诺与丰富多元的具身模子，加快具身智能跨践诺互助与范畴化应用。

绽开、互助、分享，是具身智能生态感奋的必经之路，智源辩论院愿联袂更多产业合作伙伴，共绘具身智能生态蓝图。

开源联贯：

具身多模态大脑模子 RoboBrain

Github：  https://github.com/FlagOpen/RoboBrain

Gitee：  https://gitee.com/flagopen/robo-brain

Huggingface：https://huggingface.co/BAAI/RoboBrain

为机器东谈主操作任务绸缪的高质料异构数据集 ShareRobot

GitHub：https://github.com/FlagOpen/ShareRobot

Gitee：  https://gitee.com/flagopen/share-robot

Huggingface：  https://huggingface.co/datasets/BAAI/ShareRobot

* 本文系量子位获授权刊载，不雅点仅为原作家扫数。

一键三连「点赞」「转发」「着重心」

迎接在驳斥区留住你的思法！

—  完  —

� � 点亮星标 � �

科技前沿进展逐日见足球体育