为什么eBay相信AI平台开源Krylov

 
如今很难找到一家技术公司不尝试某种与AI相关的产品，服务或计划，但是eBay通过建立自己的AI平台Krylov全力以赴。 eBay副总裁兼AI和平台首席架构师Sanjeev Katariya在接受VentureBeat采访时描述了Krylov：“在最高层次上，Krylov是一个机器学习平台，可让数据科学家和机器学习工程师为以下产品提供各种模型：各种数据迅速投入生产，并被整合到eBay在全球范围内提供的用户体验中。”
它是一个基于云的多租户平台，涉及计算机视觉和自然语言处理(NLP)等技术，分布式培训和超参数调整等技术，以及与eBay服务密切相关的工具，例如商品推荐，买家个性化，卖家价格指导和运输估算。
eBay代表不会分享公司向卡洛夫(Karlov)投入的资金。即使确实如此，硬性成本(无论它们可能有或没有多大)都无法完全反映eBay在全球内部组织多年的努力下投入的资金。毕竟，eBay现在将Krylov开源。 Katariya描述了该公司如何构建该平台，并解释了为什么他相信将其开源。
为什么要建立一个AI平台?
公平地问为什么eBay首先要创建整个平台。已经有其他AI平台了：在eBay上的博客文章中提到了一些，包括Google，Facebook的FBLearner和Uber的Michelangelo。
但是，Katariya说：“当您查看开源中的内容和公共云中的内容时，其中之一就是……它们是组成部分。这不是一个将所有内容整合在一起的精巧系统。”
“您需要单独获取数据。您拥有零碎的机器学习系统和培训系统。您拥有TensorRT之类的运行时。但是…………当您需要交付生产系统并使客户的产品运转时，您需要对其进行操作，整合在一起，并在该系统中进行创新，”他说。
卡塔里亚(Katariya)说，eBay内部构建的一些东西在其他任何地方都不存在。 eBay确实使用了一些公开可用的工具，“但是我们在其中添加了秘密的调味料。”
易趣krylov ai平台图形
该公司拥有大量数据要处理-在大约190个市场中，全球使用不同语言的大约14亿用户交互(3月份为12亿)。然后，它必须以“分布式方式”训练系统并同时进行实验和生产。为了招聘数据科学家和工程师，这笔巨额投资使公司不再共享人数，因此eBay需要创建一个平台，以最大限度地提高效率和产出。
组织挑战
在公司内部开发AI绝非易事-有据可查，许多AI计划都失败了。造成这种情况的原因多种多样，同时还有很多关于成功的建议。然而，对于雄心勃勃的雄心壮志的eBay这样规模的公司来说，并没有真正的指导。 Katariya讨论了eBay如何应对在尚未充分统一的公司中创建统一AI平台的挑战。这有点麻烦，而且花了很多年。
第一步是打破整个公司的孤岛。 “一开始，事情是相对隔离地完成的。我不会说它们是完全隔离的，但是存在一定程度的隔离，”他说。
但是eBay意识到，必须首先将全球分布的人员聚集在一起，然后再为成功做好准备。 “您必须提供正确的工具，正确的论坛，正确的做法，正确的机制来将这些想法融合在一起。这不仅与代码有关，而且与协作有关。这与敏捷实践有关。”他说。
eBay创建了所谓的统一AI计划核心团队(ICT)。它包括代表最终平台所有部分的人员，包括硬件，计算，网络，存储和数据服务，以及“ AI域团队”，eBay将其定义为平台的内部“客户”。其中包括eBay内从事广告，计算机视觉，NLP，风险，信任和市场营销的AI研究和工程的人员。
该公司拥有大量数据要处理-在大约190个市场中，全球使用不同语言的大约14亿用户交互(3月份为12亿)。然后，它必须以“分布式方式”训练系统并同时进行实验和生产。为了招聘数据科学家和工程师，这笔巨额投资使公司不再共享人数，因此eBay需要创建一个平台，以最大限度地提高效率和产出。
组织挑战
在公司内部开发AI绝非易事-有据可查，许多AI计划都失败了。造成这种情况的原因多种多样，同时还有很多关于成功的建议。然而，对于雄心勃勃的雄心壮志的eBay这样规模的公司来说，并没有真正的指导。 Katariya讨论了eBay如何应对在尚未充分统一的公司中创建统一AI平台的挑战。这有点麻烦，而且花了很多年。
第一步是打破整个公司的孤岛。 “一开始，事情是相对隔离地完成的。我不会说它们是完全隔离的，但是存在一定程度的隔离，”他说。
但是eBay意识到，必须首先将全球分布的人员聚集在一起，然后再为成功做好准备。 “您必须提供正确的工具，正确的论坛，正确的做法，正确的机制来将这些想法融合在一起。这不仅与代码有关，而且与协作有关。这与敏捷实践有关。”他说。
eBay创建了所谓的统一AI计划核心团队(ICT)。它包括代表最终平台所有部分的人员，包括硬件，计算，网络，存储和数据服务，以及“ AI域团队”，eBay将其定义为平台的内部“客户”。其中包括eBay内从事广告，计算机视觉，NLP，风险，信任和市场营销的AI研究和工程的人员。
该公司的方法就是所谓的“内部开源”，它促进了跨地域和部门之间的协作，使所有各方都能接近其特定领域的任务和问题，同时又能与更大的努力保持联系。
作为一项额外的激励措施，eBay创建了ML Engineering Fellowship计划。这实际上是公司内工程师进行某种实习的一种方式，可以在机器学习工程领域资深领域专家的指导下在AI平台上工作。
相信开源
经过在表面上应该为eBay带来一些投资回报的AI平台的所有努力和投资之后，可以问一下为什么公司要走开源路线了。卡塔里亚说，多样性是多种因素的推动力。
“我们所利用的一项基本原则是，我们拥有全球内部观众为我们构建机器学习平台。随之而来的是思想和执行多样性的力量。”他说，并指出该平台的许多组件来自与欧洲和亚洲以及其他地区的全球团队的合作。
“想象一下，在公司一级做到这一点，发现多元化具有巨大的力量。现在，我们将其扩展到地球并开源。”他说。他说：“我们不仅将解决eBay的问题或挑战，还将把善良性扩展到地球的其他地方，而且我们希望这种发展能够以非常快的速度发展。”
卡塔里亚(Katariya)说这些话时，完全是可信和认真的。但是，为人类服务绝不是营利性公司的唯一目标。 eBay决定开源Krylov有商业原因。
“归根结底，我们在eBay上的全部目标是建立一个具有计算机视觉和机器翻译以及自然语言处理和个性化建议的全球市场。我们希望将最好的东西带给我们的用户。我们希望复兴零售商店，妈妈和流行企业。我们想给他们AI，”他说。公司希望不断扩大其用户和客户群。
“当[我们]提高卖方的速度时，我们可以为他们提供新技术以更快地销售……并真正发现我们必须提供的价值。这是实现这一目标的平台，”他补充说。