松灵双臂机器人数据飞轮生态崭露头角，引领具身智能创新潮

2024-10-23 17:48

在探索人工智能的前沿领域，具身智能正逐渐成为焦点，其中，硬件、数据、具身智能模型构成具身智能系统的三大生态。

具身智能硬件是具身智能系统的物理基础，模型是具身智能系统的决策核心，数据用于泛化和训练智能模型的关键资源，三大生态共同构成了具身智能系统的核心生产力，并推动着具身智能技术的不断发展和应用。

那么，在具身智能的开发初期，作为高校科研人员和开发者，如何选择合适的平台？如何采集自己的数据？如何训练自己的模型？如何部署到实际应用？

三位一体具身智能解决方案

Mobile ALOHA开源项目（后简称ALOHA）发布以来，其便携式、低成本的采集真实有效的真实数据的方案深受行业认同。松灵Cobot Magic致力于更广泛地为全球科研探索、技术创新及数据开源提供整套完成的开箱即用的解决方案。

自年初发布以来，凭借其强大的硬件基础，吸引50+高校和科研机构进行使用和开发积累，累计以来，我们开发者群体在这里产生了大量学术成果，我们也在这里进行收集，涵盖了通过AGIC生成高质量数字资产、仿真数据生成、标准数据、大模型等，并初步构建围绕硬件、数据、具身智能模型的三位一体化解决方案。

1、标准化硬件方案

Cobot Magic是一款轻量级标准化双臂遥操作硬件平台，搭载松灵自研超轻量6自由度协作机械臂PiPER、视觉传感器、激光雷达、移动底盘等硬件。

可用于双臂移动操作的数据采集、自动化应用部署与智能化任务执行、支持斯坦福ALOHA等开源算法的复现，为具身智能数据采集提供一站式解决方案。

硬件部分

Cobot Magic自发布以来，共有两代，更新后的Cobot Magic配备高性能工控机、深度相机、松灵自研机械臂PiPER、搭配松灵线控差速底盘Tracer；可实现推理训练智能作业与模仿与执行精细化动作，更新优化后实现更高性价比！

*详情可搜索松灵机器人淘宝店铺

软件支持

Cobot Magic提供ROS消息接口，实现多摄像头与多机械臂的高帧率数据同步与采集，可采集标准ALOHA、ARIO等数据格式；

同时，适配ALOHA模型的训练与推理，端到端的模型推理为机械臂提供高精度的控制指令；数据采集、模型训练与推理代码完全开源，可快速上手完成二次开发。

Cobot Magic还配备了全面的开发工具，包括SDK、API接口以及用户友好的开发文档。这些工具极大地降低了开发门槛，使得即使是初学者也能快速上手，进行机器人应用的开发和定制。

Github链接：https://github.com/agilexrobotics/cobot_magic

Mobile ALOHA复现

基于Cobot Magic，通过斯坦福ALOHA源码及论文，可实现ALOHA源码复现，帮助用户更好地使用开源硬件机器人，深度学习ALOHA, 适应不同环境的采集，从简单的抓取放置,到更精细复杂的操作,如倒水、做饭、乘电梯、收拾物品任务。

论文标题：A Low-cost Open-source Hardware System for Bimanual Teleoperation

论文链接：https://mobile-aloha.github.io/

源码地址：https://github.com/MarkFzp/act-plus-plus

2、从标准化数据集到模型

本体(硬件)数据、模型之间互为要素，缺一不可，他们之间的关系为螺旋式上升的关系，从标准化数据集到具身智能模型，至今Cobot Magic参与了大量学术项目，已初具生态。

以下是一些学术成果的汇总，希望能帮助到我们的开发者。

JD ManiData—国内首个双臂移动机器人操作数据集开源！

早在Cobot Magic发布后，已有京东探索研究院基于Cobot Magic面向物流及家庭健康应用场景，通过在数据、模型及推理效果方面进行的深入研究与探索，构建出国内首个双臂移动机器人操作数据集 —— JD ManiData 。

文章链接：https://mp.weixin.qq.com/s/0lziyKcQtW86RlngLK3pAA

开源数据库链接：https://www.jdcloud.com/cn/explore

ARIO：标准化数据集构建

在具身智能发展中数据是关键问题。数据稀缺、非标准化平台的异构性，是具身智能数据采集的两大痛点。

基于此，松灵机器人联合鹏城实验室、中山大学、南方科技大学、香港大学等领先机构联合发起ARIO具身智能数据开源联盟,通过共享开源数据集和技术资源，构造标准化数据共享流程，使具身智能数据获取标准化、更高效。

鹏城实验室具身智能百万规模标准化数据集

月前，ARIO联盟发起人之一的鹏城实验室，基于松灵Cobot Magic 主从双臂机器人，设计了 30+ 标准化任务，包括简单 —— 中等 —— 困难 3 个操作难易等级，并通过增加干扰物体、随机改变物体和机器人位置、改变布置环境等方式增加样例的多样性，最终得到3000 多条包含3个rgbd相机的轨迹数据。

机器人数据标准联盟，促进机器人数据发展，通过开源的数据促进机器人行业发展。

未来期待更多的高校加入具身智能数据的开发和探索当中，为具身智能数据开源积累更多数据。

文章链接：https://mp.weixin.qq.com/s/Op2GqLzmZeq0DQHC2BbIaQ

论文题目：All Robots in One: A New Standard and Unified Dataset for Versatile.General-Purpose Embodied Agents

论文链接：http://arxiv.org/abs/2408.10899

项目主页：https://imaei.github.io/project_pages/ario/

RoboTwin：双臂协同机器人策略学习 Benchmark

香港大学与松灵机器人、上海人工智能实验室、深圳大学、中国科学院自动化研究所携手共创,基于Cobot Magic硬件构建的仿真环境下大规模高效数据生成，利用AIGC高效生成数据资产满足ARIO数据编码规范，极大降低数据采集和生成难度。

论文链接：https://robotwin-benchmark.github.io/early-version/

GitHub链接：https://github.com/agilexrobotics/RoboTwin

论文题目：RoboTwin: Dual-Arm Robot Benchmark with GenerativeDigital Twins (early version)

清华开源：全球最大双臂机器人扩散大模型RDT

近日，清华大学基于Cobot Magic，构建全球最大的机器人Diffusion模型，模型参数大小高达I.2B【目前最大】，训练数据量达700G。

模型开源、数据开源，构建一个支持微调的的具身大模型。使得全球科研人员和开发者可以更低的成本加入具身科研中。

项目主页：https://rdt-robotics.github.io/rdt-robotics

论文链接：https://arxiv.org/pdf/2410.07864

论文标题：RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation

3、多元化创新

Cobot Magic通过其强大的硬件基础、丰富的高校科研案例、全面的数据集资源以及便捷的开发工具，构建了一个全方位、易上手的具身智能开发生态。这一生态不仅为开发者提供了前所未有的研究与实践平台，更为具身智能的发展注入了新的活力和动力，使高校科研人员和开发者能开箱即用，基于Cobot Magic低成本的进行更多元化的开发创新。

随着Cobot Magic生态系统的不断完善和发展，松灵机器人将会持续进行生态资源的收集和归纳，同时也希望更多高校加入到Cobot Magic以及具身智能的开源开发中来，为更多领域和行业带来更加深远的影响。