菲利信研究院 | 训练具身智能所需数据的基本特点

具身智能的感知与决策不只是依赖单一模态，而必须像人类一样融合视觉、触觉、力觉、本体觉等多感官信号、以及运动执行中的动作信号，所有数据天然地具备了多模态共生、互补、联动的特征。

单一样本需覆盖完成任务的感知模态、执行模态、本体模态，三者缺一不可。即，感知模态是多样的，需整合视觉（RGB、深度图、3D点云）、听觉（环境声音、语音指令）、触觉（压力、纹理）、本体感觉（关节角度、速度）等多模态数据。如，抓取水杯的单条数据，必须包含水杯位置、抓取压力、关节扭矩、手臂关节角度、抓取轨迹等全模态数据，仅靠视觉数据是无法完成精准抓取训练的。

同时，不同模态数据需协同作用（如视觉定位物体+触觉判断物体硬度，共同决定抓取策略）、跨模态对齐，确保多模态数据在时间和空间上的一致性（如视觉图像中杯子的位置与触觉传感器检测到的接触点就需相互对应），必须时间戳对齐、空间坐标匹配，无错位、无延迟。同一行为时刻的视觉、力觉、关节角度的时间差需控制在毫秒级；视觉数据的空间要与躯体运动的空间统一坐标系。

不同模态数据存在着强因果逻辑，模态间的因果关联性还需一致。比如，视觉感知到水杯偏移、力觉数据反馈抓取偏差、关节数据调整角度，这是一个完整因果联动的关系，支撑感知、执行、调整的逻辑形成闭环。

3、时序与交互

具身智能须与环境有动态交互，因此其训练数据不是孤立的数据，而是连续的、带交互轨迹的时序数据，这是训练智能体自主决策的关键。

数据需记录智能体与环境的实时交互过程，包括动作序列（如移动、抓取）、环境反馈（如物体位置变化、力触觉信号）和状态转移（如从未抓取到抓取成功的状态变化）。因此，数据需以时间序列的形式存在，反映动作与环境反馈的因果关系（例如：先伸手、再握紧，抓起、拿走）。数据以时间序列记录智能体，就是从任务起始、过程执行、结果状况的完整行为轨迹，时序连贯性。

同时，数据不仅记录机器人的主动行为，还必须同步记录环境的反馈信号，形成行为、环境的双向交互。如，智能体抬脚踩向湿滑地面、足底压力传感器反馈打滑、步态数据调整步幅与重心，数据需完整、形成闭环。

长时序数据还需包含多步动作的依赖关系（如导航任务中转弯、避障、到达目标点的连续决策），实现多步决策关联，保留动作的因果链路，清晰追溯决策动作、环境反馈、动作优化，为强化学习提供核心依据。

4、对齐现实

由于训练具身智能的目的是到真实物理场景中去完成任务的，其训练数据不能脱离具体的场景而孤立地存在，必须深度锚定具体的应用场景、且与真实世界的场景特征高度对齐。

鉴于场景的复杂多样，场景数据就需具备广度与深度。在广度上，覆盖工业、家居、医疗等多个领域；在深度上，覆盖原子技能（如抓取、摆放）与长序列任务（如家居整理、工业装配）。

因此，所有数据均须绑定具体场景的标签——数据的感知特征、行为特征、交互特征都需适配场景属性。需包含物体类别、属性（如重量、材质）、关系（如杯子在桌子上）及可交互区域（如门把手可旋转）。家庭场景的抓取数据，就要匹配家居物体的布局、材质等；工业场景的巡检数据，要适配车间的传送带、机械设备、地形等场景特征。

同时，对齐真实世界还需还原场景的动态性、复杂性，需包含真实环境中的噪声（如光照变化、传感器误差、动态障碍物），增强鲁棒性。覆盖目标场景的常态和异态，包括不同光照、地形、物体状态、干扰条件，支撑模型的场景泛化能力。如光照突变、强暗状况、地面凹凸、摆放位置等变化的交互数据。

5、任务导向

具身智能是任务驱动的智能，其训练数据并非无意义的感知、动作堆砌，所有数据都对应于明确的任务目标，数据的采集、筛选、标注均围绕完成特定任务而展开。任务目的性决定了数据的价值，也是区分有效数据与无效数据的核心标准。例如，端盘送餐任务的数据，就须聚焦托盘抓取、平稳行走、避开障碍、精准放置的动作与感知特征。

同时，数据中的行为动作，必须具备完成任务的效用，剔除无意义的冗余。如抓取任务中，手臂无目的摆动的数据就该被过滤掉，仅保留有效动作序列，确保数据的训练效率。

当面对复合任务（如取牛奶→加热→递送）时，数据须具备不同层级、可拆解为子任务（如抓取、行走、加热等），且子任务数据能相互协同、联动支撑整体任务的完成，模型才可通过层级数据学习任务规划、子任务联动的能力。

6、稀疏与失衡

这是具身智能数据无法规避的客观特质，是由物理交互的复杂性、任务执行的偶然性决定的，也是训练过程中需要重点解决的痛点——数据的稀疏、样本的失衡直接影响模型的训练效率，也决定了具身智能数据的采集、优化策略。

数据的稀疏：一是感知稀疏，环境中对任务有用的特征信号占比低（如复杂场景中，

目标物体仅占视觉帧的小部分）；二是奖励稀疏，强化学习中任务成功的正向反馈信号仅

出现在任务的终点，中间过程几乎无有效反馈，导致数据中的有效信号占比极低。

样本的失衡：智能体在试错过程中，多数动作会导致任务失败，失败样本远多于成功样本。常态场景数据易采集、数量多，而极端场景（湿滑、高温、障碍物等等）、长尾任务（精密操作、突发应急）数据稀缺。在动作样本中，简单动作（行走、抬手）的数据充足，而复杂动作（拧螺丝、折叠衣物）的数据则更稀缺。

7、闭环且可迭代

具身智能的训练是持续迭代的过程，其数据不是一次性采集的静态数据集，而要具备行为执行、反馈生成、数据更新、模型优化的闭环可迭代性，即数据能随智能体的训练进度、场景变化得以持续补充和优化，形成数据与模型的双向驱动、数据的迭代与模型的迭代深度绑定。

数据需包含任务成功/失败的反馈（如强化学习中的奖励值），或人类对行为的评价（如好/差、安全/危险）。需包含失败案例及修正过程（如抓取失败→调整手指位置→再次尝试的迭代数据），数据需覆盖环境变化（如物体移动、新物体出现）及智能体的自适应行为。

数据中的环境反馈、任务结果，需能转化为量化的指标，为模型迭代提供明确的方向。例如，抓取失败可量化为指尖压力偏差值、物体偏移距离，模型可基于量化反馈来优化抓取的动作。

支持增量数据的采集、生成，可针对模型的薄弱环节定向补充对应数据，无需全量重采；同时，能吸收智能体实机训练的新行为数据，持续丰富数据集。

8、成本与效率

从产业落地角度，具身智能数据还需具备质量、规模、成本等工程化特点——既要满足训练的规模需求，又要规避真实采集的高成本、高风险，这是数据能支撑大规模训练的必备特质，也是当前行业的核心追求。

数据来源须虚实结合。虚拟数据解决大规模、低成本的需求，真实数据则解决精准对齐、落地验证的需求，二者互补、实现数据的规模化、效率化。

数据还要高效利用，具备复用性、迁移性。也就是说，同一类基础数据可适配多类相似任务（如家庭场景的抓取数据，可迁移到取碗筷、拿遥控器等相似任务）；同时，还支持自监督/半监督训练，未标注的原始时序数据可被利用，降低人工标注成本。

9、安全与合规

需包含安全约束下的交互样本（如避免碰撞、防止伤害人类或自身），减少危险行为的学习。若涉及人类交互，需匿名化处理个人数据（如模糊人脸、脱敏语音等），符合GDPR等法规。数据中的人类指令或反馈，需符合伦理规范（如拒绝执行有害指令等）。