克雷西 发自 凹非寺

量子位 | 公众号 QbitAI

东谈主类只需要演示五次，就能让机器东谈主学会一项复杂手段。

英伟达实验室，提议了机器东谈主考试数据枯竭问题的新搞定决策——DexMimicGen。

五次演示之后，DexMimicGen就不错奏凯效法出1000个新的demo。

而且可用性强，用这些新demo考试出的机器东谈主，在仿真环境中的任务到手率不错高达97%，比用真东谈主数据效果还要好。

参与此技俩的英伟达科学家范麟熙（Jim Fan）合计，这种用机器考试机器的神志，搞定了机器东谈主边界最大的痛点（指数据汇注）。

同期，Jim Fan还预言：

机器东谈主数据的改日是生成式的，总共这个词机器东谈主学习历程的改日也将是生成式的。

值得一提的是，DexMimicGen三名共灭亡作都是李飞飞的“徒孙”，具体说是德克萨斯大学奥斯汀分校（UT奥斯汀）助理西席朱玉可（Yuke Zhu）的学生。

而且三东谈主均为华东谈主，当今都在英伟达权术院实习。

5次演示，生成1000条数据

如前所述，DexMimicGen不错仅凭证东谈主类的5次演示，生成1000个新DEMO。

在总共这个词实验中，作家招引了9个场景，涵盖了3种机器东谈主情势，共进行了60次演示，取得了21000多个生成DEMO。

在仿真环境当中，用DexMimicGen生成数据考试出的战略实行整理抽屉这一任务，到手率可达76%，而单纯使用东谈主工数据只消0.7%。

关于积木拼装任务，到手率也从3.3%进步到了80.7%。

到手率最高的任务是罐子分类，更是高达97.3%，只用东谈主工数据的到手率相通只消0.7%。

举座来看，在仿真环境中，生成数据让机器东谈主在作家联想的九类任务上的到手率均彰着增多。

比较于baseline措施，用DexMimicGen生成的数据也更为灵验。

移动到果然环境之后，作家测试了易拉罐分拣的任务，散伙仅用了40个生成DEMO，到手率就达到了90%，而不使用生成数据时的到手率为零。

除此以外，DexMimicGen还展现了跨任务的泛化才气，使考试出的战略在多样不同任务上阐扬邃密。

针对入手情状散播变化，DexMimicGen也体现出了较强的鲁棒性，在更平素的入手情状散播D1和D2上测试时，仍然无意领有一定的到手率。

将仿真措施移动到实践

DexMimicGen是由MimicGen检阅而成，MimicGen也出自英伟达和UT奥斯汀的调理团队。

朱玉可和范麟熙都参与过MimicGen的责任，该后果发表于CoRL 2023。

MimicGen的中枢想想，是将东谈主类示范数据分割成以策划物体为中心的片断，然后通过变换物体相对位置和姿态，在新环境中复现东谈主类示范轨迹，从而杀青自动化数据生成。

DexMimicGen则在MimicGen系统的基础上，针对双臂机器东谈主奢睿操作任务作念了革命和推广，具体包括几个方面：

引入并行、勾通、限定三种子任务类型，以稳当双臂奢睿操作任务的需求；对应三种子任务类型，联想了异步实行、同步实行祥和序经管等机制，以杀青双臂的孤立动作、精密协同和特定限定操作；杀青了“实践-模拟-实践”的框架，通过构建数字孪生，将DexMimicGen拓展到了本体机器东谈主系统的运用。

责任历程上，DexMimicGen会率先对东谈主类示范进行采集和分割。

权术东谈主员通过率领XR头显，汉典罢休机器东谈主完成策划任务，在这一过程中就会产生一小批示范数据，作家针对每个任务采集了5~10个东谈主类示范样本。

这些东谈主类示范样本会按照并行、勾通、限定三种子任务界说被切分红片断——

并行子任务允许两臂孤立实行；勾通子任务条件两臂在环节本事同步动作；限定子任务则规矩了某些子任务必须在另一些子任务完成后才能实行。

总之，在示范数据被切分后，机器东谈主的每个手臂会得到我方对应的片断鸠合。

在数据生成入手时，DexMimicGen赶紧化模拟环境中物体的位置、姿态等数据，并赶紧遴荐一个东谈主类示范手脚参考。

关于现时子任务，DexMimicGen司帐算示范片断与现时环境中环节物体位置和姿态的变换。

之后用该变换对参考片断中的机器东谈主动作轨迹进行处理，以使实行这一变换后的轨迹无意与新环境中物体位置匹配。

生成变换后，DexMimicGen会小气每个手臂的动作队伍，手指要津的通顺则奏凯重放示范数据中的动作。

在总共这个词过程中，系统束缚检查任务是否到手完成，若是一次实行到手完成了任务，则将实行过程记载下来手脚灵验的演示数据，失败则将数据丢弃。

之后即是将生成过程束缚迭代，直到取得充足量的演示数据。

汇注好数据后，作家用DexMimicGen生成的演示数据考试效法学习战略，战略的输入为RGB相机图像，输出为机器东谈主动作。

终末是模拟到实践的移动，相通地，作家使用DexMimicGen在数字孪生环境中生成的大范畴演示数据，考试效法学习战略。

之后作家对在数字孪生环境中评估考试得到的战略进行调优，以提高其泛化性能和鲁棒性，并移动到本体机器东谈主系统中。

作家简介

DexMimicGen的共灭亡作有三东谈主，都是UT奥斯汀的华东谈主学生。

况兼三东谈主均出自李飞飞的学生、浙大学友朱玉可（Yuke Zhu）助理西席门下，他们分手是：

博士生Zhenyu Jiang，本科就读于清华，2020年插足UT奥斯汀，瞻望将于来岁毕业；硕士生Yuqi Xie（谢雨皆），本科是上海交大和好意思国密歇根大学联培，瞻望毕业时间亦然来岁；博士生Kevin Lin，本科和硕士分手就读于UC伯克利和斯坦福，本年加入朱玉可课题组读博。

朱玉可的另一重身份是英伟达的权术科学家，团队的另外两名隆重东谈主也都在英伟达。

他们分手是Ajay Mandlekar和范麟熙（Jim Fan），也都是李飞飞的学生，Mandlekar是总共这个词DexMimicGen技俩组中唯独的非华东谈主。

另外，Zhenjia Xu和Weikang Wan两名华东谈主学者对此技俩亦有孝敬，总共这个词团队的单干如下：

△汉文为机翻，仅供参考

技俩主页：

https://dexmimicgen.github.io/论文地址：

https://arxiv.org/abs/2410.24185参考聚首：

[1]https://x.com/SteveTod1998/status/1852365700372832707[2]https://x.com/DrJimFan/status/1852383627738239324

— 完 —

量子位 QbitAI · 头条号签约

关怀咱们万博manbext体育官网app娱乐，第一时间获知前沿科技动态