Google研究人员使用多个摄像头来降低机器人插入和堆叠任务的错误率

 
操纵物体的机器人依靠摄像机来了解周围的环境，但是这些摄像机通常需要仔细的安装以及持续的校准和维护。由Google机器人技术部门和哥伦比亚大学的研究人员发表的一项新研究提出了一种解决方案，其中涉及一种技术，该技术可以学习使用多台彩色摄像机完成任务而无需明确的3D表示。他们说，与基线相比，它在困难的堆叠和插入任务上具有出色的任务性能。
这项最新工作建立在Google大量的机器人技术研究之上。去年10月，该公司的科学家发表了一篇论文，详细介绍了名为Form2Fit的机器学习系统，该系统的目的是教一个带有吸臂的拾取机器人，将物体组装成套件。 Google Brain研究人员正在寻求一种新颖的机器人任务计划技术，该技术涉及深度动力学模型或DDM，他们声称这种技术可以使机械手操纵多个物体。最近，一个Google团队完成了ClearGrasp的总结，这是一种AI模型，可以帮助机器人更好地识别透明对象。
正如研究人员所指出的那样，直到最近，大多数自动化解决方案都是为刚性设置而设计的，在这种刚性设置中，重复执行脚本化的机器人动作以移动预定位置。这种方法需要高度校准的设置，该设置可能既昂贵又耗时，并且缺乏处理环境变化所需的鲁棒性。计算机视觉的进步已导致抓握性能提高，但是诸如堆叠，插入和精密安装等任务仍然具有挑战性。那是因为他们需要对任务环境具有准确的3D几何知识，包括对象的形状和姿势，位置之间的相对距离和方向以及其他因素。
相比之下，该团队的方法利用了多摄像机视图和强化学习框架，该框架可以从不同的角度获取图像并以闭环方式产生机器人动作。他们说，通过直接从摄像机视图中进行组合和学习，而无需中间步骤，他们可以改善状态估计，同时提高系统动作的鲁棒性。
Google机器人操纵
在实验中，研究人员将他们的装置部署到一个模拟环境中，该环境包含一个配备有夹具的Kuka手臂，两个放置在机器人前面的垃圾箱以及三个可以俯瞰这些垃圾箱的摄像机。首先，这条手臂的任务是将一个垃圾箱与一个单独的方块堆叠在一个随机的位置，从一个蓝色或橙色的方块开始。在其他任务中，它必须将一个积木牢固地插入中间固定装置，并将一个积木堆叠在另一个之上。
研究人员在10张图形卡上运行了180个数据收集作业，以训练他们的强化学习模型，每张每小时可产生约5,000集的插入任务。他们报告说它取得了成功，并大大降低了基于精度的任务的错误率，尤其是第一个堆叠任务的错误率为49.18%，第二个堆叠任务的为56.84%，插入任务的为64.1%。该论文的合著者写道：“有效利用多种视图可以更全面地观察与任务相关的潜在状态。” “我们的多视图方法可实现RGB摄像机的3D任务，而无需显式的3D表示，并且无需摄像机-摄像机和摄像机-机器人校准。将来，通过学习除任务策略之外的摄像头放置策略，单个移动摄像头也可以实现类似的多视图优势。”