25分钟训练机器人学会6个动作,伯克利开发高效机器人操纵框架
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。
这个机械臂正在完成够、拿、移、推、点、开等6个动作。
而且动作娴熟,还不存在失误。
更令人意外的是,训25练这个机械臂,只花了短短25分钟。
即使有人为干扰,它也能够成功完成抓取动作。
还能抓起以前没有见过的物体形状。
这就是来自加州大学伯克利分校的一项新研究——高效机器操作框架Fram分钟ework for Efficient Robotic Manipulation(FERM),专门对机械臂进行高效率操作的算法训练。
FERM为什么比其他方法效率高?
目前来看,大多数针对训练机器人训练的的RL算法效率都不是很好。
采用稀疏奖励的方法训练Dota5游戏的人机操作,使之成为达到人类玩家的高手水平,需要花180年的游戏时间。
训练一个机械臂的手势,则需要上千万机器的模拟学习的样本和两周的训练时间。
Sim2Real和模拟学习这两个方法稍微好点。Sim2Real需要接受模拟训练,再将训练结果运用到现实事例中。
模拟学习则需要通过一系列的专业训练人学示范案例和监督学习,才能得出最后的训练策略,实验结果非常依赖于输入示范案例的质量。
FERM优势在于,既没有依靠模拟训练转换到现实,也不用高度依赖于输入的示范案例的质量。
而是基于会6非监督性表征学习和数据扩张技术,使用了pixel-based RL。
因此,它仅仅需要10个Demo,25分钟的训练时间,就可以让机器人学会六个动作。
FERM具体怎么训练?
FERM采用个动了基于像素的强化学习(pixel-based RL)方法。
具体而言,先收集小部分演示数据,并且将这些数据存放在“回放缓冲区”上。
然后,用观察结果结合对比损失量,来对编码器进行预训练。
而作,后,编码器和“回放缓冲区”运用一种线下的数据来加强RL算法,对RL智能体进行训练。
在论文中,研究人员总结了FERM主要优点:
1、高效率:FERM可以学习6种不同操作任务的最优策略,伯克在15-50分钟的训练时间内完成每项任务。
2、简单统一的框架:框架结合现有的组成部分,将无监督的预训练和在线RL与数据扩充成一个单一高效的框架。
3、常规轻量设置:实施起来只需要一利开个机器人、一个GPU、两个摄像头、几个演示,以及稀疏奖励函数等等。
具体的实验结果如何?
实验结果
这项实验采用像素观察的方法执行了一系列任务。下图的每一栏显示了初始、中间、结果等三个状发高态。只有当机器人完成任务时,才会获得稀疏奖励。
这个训练算法的效率可谓很高了。具体完成时间如下图表格所示,在30分钟左右,它就可以让机器人学习操作任务。而简单的“够”(Reach)效机动作,则只需要三分钟。
实验结果称,它不需要很多的Demo,也不需要到大量的设备,首次完成任务的平均时间为11分钟,并且可以在25分钟内训练出6个机械动作。
所以研究人员骄傲地说器人:
“据我们所知,FERM是第一个能在不到一小时的时间内,能通过像素点直接完成来自不同组、采用稀疏奖励方法的机器操作任务。”
而根据相关报告,未来十年,制造业将需要460万个岗位。操纵许多制造商也都在转向自动化生产,机械自动化将占比越来越高。FERM这样的高效训练框架,可谓是制造业福音。
相关文章:
- AI 办公新动向:Claude 完成 Office 全覆盖,修订模式成博弈焦点
- 云安全日报211111:红帽企业高级集群管理解决方案发现重要漏洞,需要尽快升级
- 标签: 百济神州 百悦泽 百泽安 安泰适
- OpenAI重磅推出GPT-5-Codex:AI编码代理将彻底颠覆开发者世界
- 标签: 医脉通 人工智能+医学研究 北京市自然科学基金 朝阳创新联合基金
- 云计算开发:Python练习实例-时间函数举例
- 腾讯云TokenHub:连续多月翻倍 日Token消耗量跃升至5万亿
- 标签: 郭德纲 德云社 相声 北京文旅局
- 印度AI大战白热化!谷歌豪送18个月Gemini Pro,OpenAI推免费ChatGPT Go,巨头“烧钱”抢10亿用户
- 会说话的头像!新框架LipSync3D,未来或实现动态口型再同步
相关推荐:
- 标签: 英伟达 VeraRubin NVL72 Groq3LPX gtc2026
- 两位20岁辍学生打造Turbo AI:500万用户的AI笔记神话
- 标签: 苹果 铠侠 NAND Flash 闪迪
- 阿里云域名价格调整 2月1日起net英文域名续费上调至89元
- 标签: TCL华星 兆元光电 LED芯片 Mini LED
- Lindy Build发布!AI自主“氛围编程”:从创意到无Bug应用,吃饭时间搞定!
- 边缘计算:最快数据处理背后的技术
- 标签: 吾流文化 凯辉基金 长月烬明 赴山海
- 云安全日报210430:IBM企业全面集成需求平台发现拒绝服务攻击漏洞,需要尽快升级
- 国产“天价手机”凉凉,价格比苹果还高,“断崖式降价”无人问津
- 云安全日报220421:思科虚拟化基础设施管理器软件发现权限提升漏洞,需要尽快升级
- 国内首个AI大模型众测结果出炉!发现281个安全漏洞,未来治理刻不容缓
- 云计算核心技术Docker教程:Docker Swarm 模式管理在 swarm 节点上安装插件
- 标签: 传音控股 H股上市 AI研发 国际化
- 谷歌云2020年营收增至130亿美元 但依旧未能盈利
- 零一万物大调整:李开复押注ToB,三位新高管上任加速商业化突围
- TestGrid 推出 CoTester™ 2.0:革命性 AI 测试工具助力企业数字化转型
- 可口可乐AI新版“可乐大篷车”广告遭诟病,但公司坚称“更快更省”
- 谷歌“上车”,福特“入网”
- 标签: 万辰集团
