Oculus如何将复杂的跟踪压缩到pipsqueak硬件中

 
让Oc体验简单易用是Oculus Quest的主要目标，它绝对能够实现这一目标。但是从房间里的东西跟踪你的耳机到你的耳机跟踪房间里的东西是一个复杂的过程。我与Facebook首席技术官Mike Schroepfer(“Schrep”)讨论了从“从外到内”到“从内到外”的旅程。
当您使用VR耳机和控制器移动头部和手时，系统的某些部分必须始终准确跟踪这些事物的位置。通常有两种方法尝试。
一种方法是在您所在的房间内安装传感器，密切观察设备及其嵌入式LED – 从外面看。另一种方法是在耳机上安装传感器，观察房间内的信号 – 寻找从里到外。
两者都有它们的优点，但是如果你想要一个无线系统，你最好的选择是由内到外，因为你不必在耳机和计算机之间无线发送信号进行实际的位置跟踪，这会增加憎恨的延迟体验。
几年前，Facebook和Oculus设定了一个目标，不仅实现了内向外跟踪，而且使其与在高端PC上运行的有线系统一样好或更好。并且它必须在任何地方运行，而不仅仅是在由信标或其他东西设置的边界的设定场景中运行，并且在启动它的几秒钟内完成。结果就是令人印象深刻的Quest耳机，它在这项任务中成功地获得了绚丽的色彩(尽管在其他任务中并没有太大的飞跃)。
令人印象深刻的不仅仅是它可以跟踪周围的物体并将其转换为自身的精确3D位置，但它可以在普通计算机的一小部分功率的芯片上实时实现。
“我没有意识到任何接近这种性能水平的系统，”Schroepfer说。 “在早期，关于它是否会起作用的争论很多。”
我们希望从长远来看，对于大多数消费者应用来说，它将全部由内向外跟踪。
耳机所用的术语是同步定位和映射，或SLAM。它基本上意味着在3D中构建环境地图，同时还要确定您在该地图中的位置。当然机器人已经做了一段时间，但他们通常使用激光雷达等专用硬件，并拥有更强大的处理器。所有新耳机都是普通相机。
“在仓库中，我可以确保我的照明是正确的，我可以将基准点放在墙上，这些标记可以帮助重置事情，如果我遇到错误 – 这就像问题的戏剧性简化，你知道吗?”Schroepfer指出。 “我不是要求你把基准点放在你的墙上。我们不会让您在家中放置二维码或精确定位的GPS坐标。“
“以前从未见过你的起居室，而且只需要工作。在一个相对受限的计算环境中 – 我们有一个移动CPU。大多数移动CPU也会使用内容。在通过仓库巡航的同时，机器人没有玩Beat Saber。“
从多方面来看，这是一个难题，这也是团队多年来一直在努力的原因。最终，有几个因素汇集在一起​​。其中一个原因就是移动芯片变得足够强大，甚至可以实现这样的功能。但Facebook并不能真正归功于此。
更重要的是正在进行的计算机视觉工作，Facebook的AI部门一直在Yann LeCun和其他人的眼中做。机器学习模型预先加载了计算机视觉问题所需的大量处理，并且由此产生的推理引擎重量较轻，如果不一定很好理解的话。将高效，面向边缘的机器学习付诸实践，使这个问题更接近于提供可能的解决方案。
然而，大多数劳动力进入了多个系统的复杂交互，这些系统实时交互以完成SLAM工作。
“我希望我能告诉你这只是一个非常聪明的公式，但是有很多工作可以让它发挥作用，”Schroepfer说。 “例如，你在系统上有一个IMU，一个惯性测量单元，它以非常高的频率运行，可能是1000赫兹，远高于系统的其他部分[即传感器，而不是处理器]。但它有很多错误。然后我们在不同的线程上运行跟踪器和映射器。实际上我们是多线程映射器，因为它是最昂贵的部分[即计算。多线程编程从一开始就是一件痛苦的事情，但你可以在这三者之间做到这一点，然后他们以有趣的方式共享数据，以便快速完成。“
施罗普弗在这里发现自己; “我必须花三个小时才能带你度过所有蹩脚的位置。”
创建Insight的部分过程也是广泛的测试，他们使用商业运动跟踪装置作为基本事实。他们跟踪使用耳机和控制器的用户，并使用OptiTrack设置测量精确的动作。
为了了解算法和传感系统的执行情况，他们基本上将该会话的数据回放到其模拟版本：摄像机看到的视频，IMU的数据和任何其他相关指标。如果模拟接近他们从外部收集的基本事实，那就好了。如果不是，工程师将调整系统的参数，然后再次运行模拟。随着时间的推移，更小，更高效的系统越来越接近于生成OptiTrack钻机记录的相同跟踪数据。
最终它需要与标准Rift耳机一样好或更好。在原版之后的几年里，没有人会购买任何方式下降的耳机，无论它多么便宜。
“有一点可以说，与基本事实相比，我的错误率是多少，但它在整个体验方面的实际表现如何?”Schroepfer说。 “当我们走向发展的最后阶段时，我们实际上在团队中有一对热情的Beat Saber球员，他们会在Rift和Quest上进行比赛。目标是，同一个人应该能够获得相同的高分或更好。这是重置微观指标的一种好方法，并说，这是我们实现人们想要的最终体验所需要的。“
这里的计算机视觉团队，他们非常看好相机，其背后有非常强大的算法，可以解决许多问题。
它也不会因为它更便宜而受到伤害。激光雷达的价格足够昂贵，甚至汽车制造商也非常谨慎地实施它，而像Kinect这样的飞行时间或结构光方法也会带来成本上升。然而，他们大量简化了问题，开始使用3D感应工具。
“我们说的是，没有那个，我们能得到同样的好处吗?因为它将大大降低该产品的长期成本，“他说。 “当你在这里与计算机视觉团队交谈时，他们非常看好相机，其背后有非常强大的算法，可以解决许多问题。因此，我们希望从长远来看，对于大多数消费者应用来说，它将全部由内到外跟踪。“
我指出VR并不是所有人都认为是一个健康的行业，技术解决方案可能无法解决更多层次的问题。
Schroepfer回答说，VR采用基本上存在三个问题：成本，摩擦和内容。成本是不言自明的，但多年来它的价格便宜得多，这是错误的。 PlayStation VR很早就建立了一个低成本的入门，但“真正的”VR仍然很昂贵。