创新的数据集可加速自动驾驶研究

我们如何训练自动驾驶汽车，以加深对周围世界的认识？计算机能否从过去的经验中学习以识别未来的模式，从而帮助他们安全地应对新的不可预测的情况？

这些是麻省理工学院交通与物流中心的AgeLab和丰田合作安全研究中心（CSRC）的研究人员试图通过共享一个名为DriveSeg的创新性新开放数据集来回答的一些问题。

通过发布DriveSeg，麻省理工学院和丰田汽车正在努力推进自动驾驶系统的研究，就像人类的感知一样，自动驾驶系统将驾驶环境视为连续的视觉信息流。

“在共享此数据集时，我们希望鼓励研究人员，行业和其他创新者对时态AI建模开发新的见解和方向，以实现下一代辅助驾驶和汽车安全技术，”首席研究员BryanReimer说。“我们与丰田中国证监会的长期合作关系使我们的研究工作能够影响未来的安全技术。”

丰田证监会的高级总工程师里尼·谢罗尼说：“预测能力是人类智能的重要组成部分。”“每当我们开车时，我们总是跟踪周围环境的变化，以识别潜在风险并做出更安全的决定。通过共享该数据集，我们希望加快对自动驾驶系统和更能适应复杂性的高级安全功能的研究。周围的环境。”

迄今为止，提供给研究社区的自动驾驶数据主要由大量静态的单一图像组成，这些图像可用于识别和跟踪在道路内和道路周围发现的常见物体，例如自行车，行人或交通信号灯，通过使用“边界框”。相比之下，DriveSeg包含许多相同的常见道路对象的更精确的像素级表示，但是它们是通过连续视频驾驶场景的镜头显示的。这种类型的全场景分割对于识别更多不总是具有这种定义和统一形状的无定形对象（例如道路建设和植被）特别有用。

根据Sherony的说法，基于视频的驾驶场景感知提供的数据流更类似于动态，现实世界的驾驶情况。它还使研究人员能够随着时间的推移探索数据模式，这可能导致机器学习，场景理解和行为预测方面的进步。

DriveSeg是免费提供的，研究人员和学术界可通过以下链接将其用于非商业目的。数据由两部分组成。DriveSeg（手动）是在马萨诸塞州剑桥市繁忙的街道上白天旅行期间捕获的2分47秒的高分辨率视频。该视频的5,000帧使用12类道路对象的每像素人工标签进行密集注释。

DriveSeg（半自动）是从MIT高级车辆技术（AVT）联盟数据中提取的20,100个视频帧（67个10秒的视频剪辑）。DriveSeg（Semi-auto）与DriveSeg（manual）具有相同的像素级语义注释，除了注释是通过MIT开发的新型半自动注释方法完成的。与手动注释相比，此方法利用了手动和计算的努力，可以以较低的成本更有效地粗略地注释数据。创建该数据集的目的是评估注释各种实际驾驶场景的可行性，并评估在通过基于AI的标记系统创建的像素标记上训练车辆感知系统的潜力。