DeepMind的AI使用空中和地面视图数据来导航看不见的区域

 
如果有足够的训练数据，街道导航AI是否能够遍历以前看不见的街区?这就是Google母公司Alphabet的DeepMind的科学家们在预印本服务器Arxiv.org上发表的一篇新发表的论文(“街头导航的跨视图政策学习”)中的调查。在其中，他们描述了使用自上而下的视觉信息将使用地面视图语料库训练的人工智能政策转移到城市的目标部分，他们认为这种方法可以更好地推广。
该论文的共同作者说，这项工作的灵感来自人类可以通过阅读地图快速适应新城市的观察。
“在不熟悉的环境中从视觉观察中导航的能力是智能代理的核心组成部分，也是一项持续的挑战…… [G]致力于街道导航的代理人到目前为止还未能在没有大量再培训的情况下转移到看不见的地区，依赖于仿真不是一种可扩展的解决方案，“他们写道。 “我们的核心理念是将地面视图与鸟瞰图配对，并学习可跨视图转换的联合政策。”
研究人员首先收集了区域航空地图，他们根据相应的地理坐标与街道视图配对。接下来，他们开始了一个由三部分组成的转移学习任务，该任务通过使用鸟瞰图目标区域观测进行源区数据和适应性训练，最后通过使用地面观察观察转移到目标区域。

 
 
该团队的机器学习系统包括三个模块，包括负责视觉感知的卷积模块，捕获特定位置特征的长期短期记忆(LSTM)模块，以及产生动作分布的策略循环神经模块。它被部署在StreetAir，这是一个多视图的户外街道环境，建立在StreetLearn之上，这是一个来自谷歌街景和谷歌地图的互动第一人称全景街景照片集。在StreetAir和StreetLearn中，安排了纽约市(纽约市中心和纽约市中心区)和匹兹堡(阿勒格尼和卡内基梅隆大学校园)的航拍图像，在每个纬度和经度坐标处，环境返回了一个84 x 84的航拍图像。与位于该位置的中心的地面视图图像大小相同。
人工智能系统一旦经过培训，其任务是学习本地化并在给定目标目的地的纬度和经度坐标的情况下导航全景图像的街景图。覆盖两侧2-5公里区域的全景图间隔约10米，AI引导代理每回合五次动作中的一种：向前移动，向左或向右转22.5度，或向左或向右转67.5度。在达到目标100-200米范围内时，这些代理人获得奖励以加强导致快速准确遍历的行为。
在实验中，利用空中图像以适应新环境的代理人获得了190亿步骤的奖励度量和280亿步骤的奖励度量，这两者都明显高于仅使用地面数据的代理人(50 1亿步，200步2亿步)。研究人员表示，这表明他们的方法显着提高了代理人获取目标城市地区知识的能力。
“我们的结果表明，与单视图(地面)相比，所提出的方法将代理转移到具有更高零射击奖励的无法看到的区域(在保持的地面视图环境中无需培训的转移)和更好的整体性能(在转移期间连续训练)查看代理商，“该团队写道。