MIT CSAIL的AI可以仅从视频片段中重建隐藏的动作

 
人工智能和机器学习算法是一门古老的帽子，它是在系统的核心(其中一些系统使用激光)在视线外产生图像的地方。但是，在没有特殊设备的情况下重建隐藏对象更具挑战性的任务呢?
麻省理工学院计算机科学与人工智能实验室的研究人员说，他们正是以此为基础开发的。他们的系统(可以在本周发布的预印本中列出)可以从观察到的混乱中的阴影和反射中重建隐藏的视频。即使在房间里打开摄像机，也可以在拐角处“看到”，即使这些拐角(以及实景表演)落在摄像机视野之外。
这是在2017年和2018年发布的初步工作的基础上进行的，该工作受到场景中光量的限制，并由于照明条件的变化而跳闸。根据研究团队的说法，该系统的当前迭代具有更广泛的通用性和更强大的功能。
秘密调味料是一种算法，可以预测光在场景中的传播方式(这种现象称为光传输)。事实证明，一堆物体的行为就像针孔相机一样，它阻挡了某些光线，同时又允许其他光线通过，从而在光线照射到的任何地方绘制了周围的图像。但是，尽管针孔照相机只能让许多光线穿过，以形成可读的图像，但一堆杂​​乱的图像所产生的图像却被扰乱了，无法识别。
MIT CSAIL阴影
为了对图像进行解读，团队使用了与真实世界中真实的阴影和阴影相对应的模式，并且他们利用了AI算法自然更喜欢表达“类似图像”的内容这一事实，即使他们从未受过训练也是如此。 。为此，研究人员的系统同时训练两个机器学习模型-一个产生加扰模式，另一个估计隐藏视频。当多种因素的组合再现了从混乱中录制的视频时，两者会得到奖励，从而驱使他们用合理的隐藏数据来解释观察结果。
为了测试他们的方法，研究人员将物体堆放在一堵墙上，然后放映视频或物理移动到另一堵墙附近。由此，他们能够重建视频，从而传达出对正在发生的隐藏运动的大致了解。
这绝不是完美的-重建过程大约需要两个小时才能产生-但是研究人员认为，该系统有一天可以使“社会的许多方面”受益。例如，无人驾驶汽车可以更好地了解在角落里出现的情况，并且搜索救援机器人可以以更高的鲁棒性导航危险或障碍物区域。实际上，十月份，麻省理工学院的CSAIL研究人员提出了一种称为ShadowCam的自动驾驶汽车系统，该系统使用类似的技术来检测和分类地面上的阴影。
MIT CSAIL阴影
“通过使用非视距成像设备(例如激光器)，您可以取得很多成就，但是在我们的方法中，您只能使用自然到达相机的光线，并且您尝试充分利用稀缺的信息。 Nvidia研究科学家兼这项新技术的首席研究员Miika Aittala说。 “鉴于神经网络的最新进展，这似乎是一个很好的时机，可以解决在这个领域以前被认为是无法解决的一些挑战。”