Google，Facebook和Microsoft如何通过正确的产品实验节省数百万美元(VB Live)

 
在瀑布式产品开发中这是一个非常熟悉的场景，其中产品是根据最佳猜测在数月或数年内开发的，最终结果可能是一场(非常公开的)灾难。
Optimizely产品管理总监Jon Noronha表示：“在此过程结束时，您可以发布您非常兴奋的大型新产品，而却惊骇地意识到您的用户讨厌它。” “我亲身经历过-我是Microsoft的产品经理，在Windows Vista发布之后我就加入了Microsoft。”
Windows Vista是非常常见的瀑布式产品发布的最具标志性的示例-您可能还记得它在用户中获得的成功。
正是这些挑战和问题促使许多公司开始采用敏捷产品开发这一更大的思维方式，即频繁的小迭代，成批做事。但是，即使人们谈论敏捷，他们也常常只是在思考这两周的冲刺或任务跟踪等等，而这仍然没有真正的敏捷精神。
“如果您要进行为期三年的产品周期开发，请不要轻拍自己的背面，否则您就不会敏捷，” Noronha说。 “敏捷的真正精神在于，将实际的工作尽可能地公开给真实的用户以获取反馈，以便您学习和适应。”
您的团队应该进行哪种实验，因为它们可以为您节省大量的时间和费用?实验是一个广泛的保护伞，涵盖了许多强大技术的使用，这些技术是大型科技公司因使用而闻名的，包括Facebook，Google，甚至是微软。
它包括粉刷门或假门实验之类的东西，您实际上只花了最短的时间来查看该想法是否可行，而不是花一年时间来建立新功能。
例如，《卫报》的开发人员被控在其新闻站点上构建“保存到移动设备”按钮。但是团队基于他们对用户的了解而持怀疑态度，因此他们进行了彩绘门实验。当您单击“保存到移动设备”按钮时，它说：“此功能即将推出。”他们运行该程序，发现基本上没有人单击它-因此，他们避免花费大量时间和金钱来建造仅具有此功能的东西它失败了。
Facebook以另一项强大的实验技术而闻名，该技术是分阶段推出的，在此阶段您首先启动了很小一部分用户群。它经常将其新功能推出到像新西兰这样的地方，因为它是一个很小的，孤立的英语地区，在将其推广到其他国家之前，可以先进行测试以确保一切正常。
当然，还有传统的A / B测试。像Google这样的公司可以同时在UX上运行数千个A / B测试。有时，公司会在外观上进行一些非常漂亮的改动，而Google一次在彼此的链接中测试了36种蓝色的阴影时，便以此为名。但是最好的A / B测试并不是那么漂亮。他们更加关注核心功能。
A / B测试的重点是量化变更的影响。当Noronha研究Bing时，他们知道Google的速度要快一些，但不确定是否会导致用户从一个站点切换到另一个站点。为了避免在前期投入大量的工程投资，他们通过相反的方向进行了测试：他们人为地降低了一部分用户的站点速度。结果证实了人们的怀疑-他们每100毫秒降低网站速度，参与度，广告收入等等都会相应减少。
“我们可以很具体地看到性能损失了数百万美元，然后让我们建立了一个完整的性能工程团队来解决问题，” Noronha解释说。
当您进行正确的实验时，结果会令人惊讶，但是，如果您做错了什么，那只会是最糟糕的情况，同样令人震惊。甚至是非常有经验的公司也走错了脚步-亚马逊上的某个人曾经发布过一些新代码，无意中将所有产品的价格降低到了1美分，使消费者感到满意。
但是，Noronha说，所有这些实验的强度也仅与您用来判断实验的指标一样强。
他说：“人们通常对A / B测试的想法感到非常兴奋，但他们并未意识到选择实验的成功标准所带来的一些隐患。” “我认为您实际上可以将其归因于您看到的一些大型技术公司所犯的许多错误。”
例如，在过去的几年中，我们所有人都看到了有关专注于纯互动的报告如何导致Facebook陷入很多麻烦的报告。但是，从您获得的主要收益到节省的成本，甚至您部门的士气，进行试验都是值得的。
“当您共同承担推动成果的责任时，无论是在遇到订婚问题时让人们花时间使用您的应用程序，还是增加对慈善网站的捐款，您都会拥有一支更加敬业的团队，他们可以更好地合作”，诺罗尼亚(Noronha)说。
现在是时候启动一个实验计划来转变您的产品和服务以及团队合作。了解如何创建自己的实验蓝图，选择正确的指标，避免甚至主要公司都可能犯的错误，以及参加此VB Live活动的更多信息!