Uber创建AI以生成用于训练其他AI模型的数据

 
生成对抗网络(GAN)是由两部分组成的AI系统，该系统由生成样本的生成器和试图区分生成的样本和真实样本的鉴别器组成，具有无数用途，其中之一正在生成合成数据。优步(Uber)的研究人员最近在题为“通过学习加速神经体系结构搜索”的论文中利用了这一点，该论文提出了量身定制的GAN(被称为生成教学网络(GTN))，该模型可生成数据或训练环境，模型可以在模型上进行测试之前从中学习。目标任务。该论文指出，与仅使用真实数据的方法相比，GTN最多可将搜索速度提高9倍，并且GTN与最先进的体系结构相比具有竞争优势，这些体系结构可在不使用“数量级”的情况下实现最高性能的同时减少计算量。
正如贡献作者在博客文章中解释的那样，大多数模型搜索需要“大量”资源，因为他们通过在数据集上训练模型来评估模型，直到模型的性能不再提高为止。可能会在一个周期内对数千个或更多模型体系结构重复此过程，这在计算方面既昂贵又费时。某些算法通过仅训练少量时间并将获得的性能作为真实性能的估计来避免成本，但是可以通过利用机器学习(即GTN)来创建训练数据，从而进一步加速这种训练。
GTN通过创建在学习过程中有用的不切实际的数据来取得成功。他们能够将有关许多不同类型对象的信息组合在一起，或者将培训重点放在最难的示例上，并根据实际数据评估培训模型。此外，他们使用学习课程(按特定顺序的一组培训示例)来提高生成器的性能，而生成器会产生示例的无序随机分布。
在实验中，研究小组表示，由GTN训练的模型在32步训练(约0.5秒)内，根据流行的开源MNIST数据集达到了98.9%的准确性，在此过程中，他们一次摄取了4,096张合成图像(不到图像的10%)在MNIST训练数据集中)。在另一个数据集CIFAR-10上进行了评估，该数据集用于衡量模型搜索的性能，即使与优化的实数据学习算法相比，在相同性能水平下，模型的学习速度也比实数据快四倍。此外，事实证明，对GTN数据的性能通常可以预测真实性能-也就是说，要获得与仅对GTN生成的数据执行128步所获得的预测能力相同的预测能力，就需要对真实数据进行1,200步。
“由于GTN可以更快地评估每种体系结构，因此他们能够在固定的计算预算内评估更多的总体体系结构。在每种情况下，我们都证明，使用GTN生成的数据比使用真实数据要快，并且可以带来更高的性能。即使我们给实时数据控件十天的计算时间，结果仍然保持不变，而GTN一天只有三分之二的时间。” “通过我们的研究，我们证明了GTN生成的训练数据创建了一种与最新算法竞争的快速…方法，但是采用了完全不同的方法。在我们的…工具箱中拥有这种额外的GTN工具可以帮助Uber，全球所有公司和所有科学家在应用它的每个领域中提高深度学习的性能。”