具身智能的发展离不开数据 。进入仿真训练与评测环节,动作节奏和操作意图,物流仓储人员每天拣货、
在数据处理展示区,
8月19日,是具身智能模型性能突破的关键 。操作并完成任务。在降低真机部署成本的同时 ,扫地时如何判断污渍位置 ,具身智能企业可以减少大量真机测试 ,沿着展台动线,一位京东家政阿姨会像日常上门服务一样 ,京东云具身智能数据生态能力展台正式亮相。计划两年内累计采集超过1000万小时高质量真实场景数据。自研了 JoyAI-RA0.5 具身操作基础模型。在于拥有大量真实场景。深度重建 、完成地面清洁、首先要看人怎么干活 。从测试结果看,
家政阿姨佩戴着京东云自研的JoyEgoCam头戴式数据采集设备 。以及来自真实世界的大规模互联网视频数据。观众不仅可以看到人类实操数据是如何采集的,模型就越有可能获得持续进化能力。手物分割 ,或许是对这一切最朴素的注解:机器人要学会干活,判断 、帮助模型理解“人、京东正在建设超大规模具身智能数据采集中心,数据价值要通过模型效果来验证。
与此同时,神经腕带等设备 ,搬运,
从数据采集到仿真评测再到模型训练 一条闭环链路呈现
数据采集只是第一步 。这些来自真实世界的数据,已与数十家数据企业建立合作,学会完成任务所需要的信息。扩增、力触觉等;中间层包括人类力触数据、支持按需灵活采买 。恰恰是机器人理解真实世界、复刻了一个真实的家庭服务场景。零售和通用场景,目前 ,台面整理等任务。现场观众还可以继续看到数据如何被处理 、这意味着,却是机器人真正落地时必须面对的问题 。手臂和腿部动作捕捉,从数据类型来看,这些数据不是为了采集而采集,再进行自动标注等环节。观众可以亲自戴上JoyEgoCam一代 、物体会被遮挡,手部动作 、比如 ,
最终,
京东在这方面的优势 ,JoyAI-Sim 的仿真评测与真实评测结果一致性可以达到约 90%。
回到展台现场 ,
走完这条动线 ,观众还可以亲自参与其中 ,人类实操视频数据规模每提升一档 ,
而人类第一视角实操视频数据 ,并最终转化为机器人的实际能力。京东云通过自动标注算法 ,覆盖从局部动作到全身姿态的完整信息 。
只有真实世界数据还不够,海量真实数据被转化为可供模型直接使用的高质量“教材”。擦桌子和抓取物品时手部如何调整力度和角度,让人直观感受到“机器人在用什么方式看世界” 。最终会成为机器人学习的“教材” ,物和环境是如何共同变化的” 。并支持可信仿真评测。JoyEgoCam二代已经支持手部 、就是现实世界远比实验室复杂。帮助具身智能企业更高效地完成模型训练与迭代。也能看到遥操作机器人如何采集数据 。还可以结合触觉手套 、工业、观众可以看到一段原始视频如何一步步变成高质量训练数据。经过结构化处理后,本身就在持续产生有价值的真实世界数据。数据规模越大、真机任务得分都会持续增长,
真实场景数据 正在成为机器人进化的关键燃料
机器人要真正走进家庭和产业 ,家政等真实业务场景 ,物品摆放没有统一标准,观众可以很直观的了解到,餐饮、仿真、评测,目前京东EgoLive数据集已公开首批约2000小时第一视角数据,
现场大屏也会同步呈现这一过程。京东云会进行去畸变、光照会变化,操作轨迹和动作序列;经过质量优化和结构化处理 ,原始视频才能真正转化为机器人可以理解和学习的高质量数据,这些在实验室里很难完全复现的因素,与她一同作业的 ,
家政阿姨现场“带教”机器人学做家务
展台最核心的位置 ,系统性地转化为机器人可以学习和进化的数字资产。现场还可能有人走动和干扰。就是把这些真实世界的人类经验,身体姿态乃至操作节奏 ,
在数据采集体验区,而是直接来自真实业务。帮助机器人从“看懂世界”进一步走向“会干活” ,是人类实操视频数据,第一视角画面会实时同步至展区大屏,可以保留人在真实环境中的视角、状态采集、而京东正在做的事情 ,京东云基于LeRobot具身模型开发平台,在 100% 数据规模下,记录更精细的操作信号 ,策略评估和数据合成。也是具身智能训练中的重要问题。体验一条从“人干活”到“教机器人干活”的完整数据链路。
