Google利用最先进的AI视频理解模型进行进化

 
视频理解是一个AI子领域，它不仅支持能够自动保留语义的系统(例如网络视频分类器和体育活动识别器)，而且是机器人感知和导航系统的基石。不幸的是，要设计出利用视频时空信息的机器学习模型并不容易，要识别那些计算量不大的模型也不容易。
因此，Google的研究人员针对自动搜索最佳计算机视觉算法进行了一系列研究，并在今天的博客文章中详细介绍了这些原因。该团队报告说，通过三种方法(EvaNet，AssembleNet和TinyVideoNet)确定的性能最佳的体系结构在多个公共数据集上的运行速度比现有手工系统提高了10到100倍。
“据我们所知，这是有关神经体系结构搜索以了解视频的第一项工作，”特约研究员Michael S. Ryoo和AJ Piergiovanni在博客文章中写道。 “我们使用新的进化算法生成的视频体系结构在公共数据集上明显胜过最著名的手工设计的CNN [卷积神经网络]体系结构。”
Ryoo，Piergiovanni和他的同事将第一个模型EvaNet描述为模块级体系结构搜索器，它可以找到最佳配置。演化算法迭代更新候选AI模型的集合，而EvaNet修改每个模型中的模块以生成全新的体系结构。在验证步骤中排名最高的人将在下一代中获得更多的“后代”，即自己的修改后的副本或自己与其他人的组合的副本，而得分较差的人则被从人群中删除。
研究人员认为，该方法擅长于识别“非平凡”的模块，与常规设计的模块相比，这些模块在性能上既更快又更好。另外，他们说，最终的架构足够多样化，以至于它们的整体都具有计算效率。
对于AssembleNet，这是一种将具有不同输入模态(例如RGB和光流)和时间分辨率的不同子模型融合在一起的方法，其中一系列体系结构通过进化来学习跨模态的特征表示之间的关系。谷歌表示，经过50至150轮训练的AssembleNet架构在流行的视频识别数据集Charades和Moments-in-Time(MiT)上取得了最先进的结果。
最后，TinyVideoNets自动设计出能够以大多数视频理解系统的计算成本的一小部分成本提供最先进性能的网络。通过在体系结构演进期间在运行时考虑模型并通过强制算法以减少计算量的方式探索搜索空间来获得大量收益。
Ryoo，Piergiovanni和他的同事说，TinyVideoNets的模型可以达到竞争性的准确性，并且在大约每秒钟的视频中，可以在37ms至100ms的处理器和图形芯片的10ms内高效地(以实时或更好的速度运行)。他们声称，这比其他人类设计的现代模型平均快了“数百倍”。
Ryoo和Piergiovanni说：“这项研究开辟了新的方向，并展示了机器进化的CNN在视频理解方面的前景。”