AI研究人员将语言翻译成物理运动

 
卡内基梅隆大学人工智能研究人员已经创建了一个AI代理，能够将单词翻译成物理运动。该方法称为Joint Language-to-Pose，或JL2P，将自然语言与3D姿​​势模型相结合。姿势预测联合嵌入是通过端到端课程学习进行培训的，这种方法强调较短的任务完成顺序，然后才能实现更难的目标。
JL2P动画仅限于今天的简笔画，但是将字翻译成类似人类的动作的能力有朝一日可以帮助人形机器人在现实世界中完成物理任务，或者帮助创意人员为视频游戏或电影等动画制作动画虚拟角色。
这是杰克马建造的房子时代的结束
苹果推出iPhone 11时，’Slo​​fies’现在成为一件事
索尼在宣布回购后飙升，微软公约
JL2P与之前将文字转化为图像的作品相媲美 – 比如微软的ObjGAN，它用字幕勾勒出图像和故事板，迪斯尼的AI使用脚本中的文字来创建故事板，还有Nvidia的GauGAN，它允许用户使用标有的画笔来绘制风景画。像“树”，“山”或“天空”这样的词。
JL2P能够执行诸如步行或跑步，演奏乐器(如吉他或小提琴)，遵循方向指示(向左或向右)或控制速度(快或慢)等操作。该作品最初于7月2日在arXiv.org上发表，将由合着者和CMU语言技术研究所研究员Chaitanya Ahuja于9月19日在魁北克举行的3D视觉国际会议上发表。
“我们首先对模型进行优化，以预测以完整句子为条件的2个时间步长，”该论文写道。 “这项简单的任务有助于模型学习非常短的姿势序列，例如行走的腿部动作，挥动的手部动作和弯曲的躯干动作。一旦验证集的损失开始增加，我们就会进入课程的下一阶段。该模型现在被给予预测姿势[数量]的两倍。“
与SRI国际研究人员在2018年提出的最先进的人工智能相比，JL2P声称人体运动建模提高了9%。
该数据集于2016年由德国高性能人形技术公司推出，将人体运动与自然语言描述相结合，将11小时的人类记录运动映射到大约8个单词的6,200多个英语句子。