亚马逊的AI生成服装图像以匹配文本查询

 
生成对抗网络(GAN)-由两部分组成的AI模型，包括创建样本的生成器和试图区分生成的样本和真实样本的鉴别器-已应用于视频，艺术品和音乐合成等任务药物发现和误导性媒体检测。正如亚马逊今天上午在博客中透露的那样，他们也进入了电子商务领域。亚马逊的科学家描述了一个GAN，该GAN可以生成服装示例以匹配产品描述，他们说可以用来完善客户文字查询。例如，如果购物者搜索“女士的黑色裤子”，然后添加“娇小”一词，然后再添加“ capri”一词，则屏幕上的图像会随着每个新词而相应地进行调整。
它与初创公司Vue.ai商业化的GAN模型没有什么不同，该模型会暂缓服装特征并学会产生逼真的姿势，肤色和其他特征。通过服装快照，它可以生成各种尺寸的模型图像，速度比传统的拍照快5倍。
亚马逊提出的系统ReStGAN是对现有系统StackGAN的修改，该系统通过将图像分为两部分来生成图像。使用GAN，它首先直接从文本生成低分辨率图像，然后使用GAN将图像上采样到具有纹理和自然着色的高分辨率版本。 GAN使用长期的短期记忆AI模型进行训练，该模型可以按顺序处理顺序输入，使它们能够在将连续单词添加到输入时细化图像。为了使从描述中进行合成的任务更容易，系统仅限于三种产品类别(裤子，牛仔裤和短裤)，这些类别的训练图像已标准化(即，删除了背景，并对图像进行了裁剪和调整大小，因此它们的形状和比例都一样)。
研究团队以无人监督的方式对系统进行了培训，这意味着培训数据由不需要额外人工注释的产品标题和图片组成。团队使用辅助分类器提高了系统的稳定性，该辅助分类器根据以下三个属性对模型生成的图像进行分类：服装类型(裤子，牛仔裤或短裤)，颜色以及它们是否描绘了男人，女人或男女通用的服装。研究人员还将颜色归纳在一个称为LAB的代表性空间中，该空间的设计使各点之间的距离对应于感知到的色差，从而为查找表奠定了基础，该查找表将视觉上相似的颜色映射到文本描述的相同特征。
研究人员称，在保留旧视觉特征的同时添加新视觉特征的能力是该系统的新颖性之一，另一种是色彩模型，该色彩模型可以产生色彩更好地匹配文本输入的图像。在实验中，研究小组报告说，与以前基于StackGAN架构的最佳性能模型相比，ReStGAN的产品分类提高了22%，性别提高了27%。色彩改善100%。