互联网ab测试是什么意思（谈为什么互联网巨头如此热衷于A/B测试）

互联网A/B测试前身：历史悠久的对照实验。

今天互联网巨头热衷的A/B测试，其实源于学术层面的随机对照测试。作为一种方法论，这种对照测试有着悠久的历史:

1747年，皇家海军外科医生杰米斯Lind设计了一项实验，以治疗坏血病。他测试了六种不同的处方，如苹果醋、大麦水和橘子。

最后发现新鲜的橘子是最好的治疗药物，尽管当时还不清楚是橘子中维生素C的作用。

1835年，医学史上第一次双盲实验在纽伦堡实现。一位名叫弗里德里希的公共卫生官员打开了一个赌注：向50名双盲受试者分发25瓶盐水和25瓶蒸馏水。

最后8人声称有治疗效果，但揭盲后发现，其中3人喝蒸馏水，弗里德里希赢得了赌注。

1935年，统计学家兼生物学家罗纳德·费雪写了一本名为《实验设计》的书。在书中，他系统地讨论了随机对照实验的设计原则和统计检验方法，成为实验设计领域的开创性作品。

1944年，在制造原子弹的过程中，曼哈顿计划的领军科学家奥本海默用三种方法测试了如何分离铀235，这成为整个项目中最关键的环节之一。

20世纪60年代，大卫·奥格威通过比较测试验证了广告的有效性——写了两份不同的副本，要求报纸印一半，同时留下邮政编辑和地址，要求免费样品，但样式不同，最终观察哪种副本效果更好。

...

可机对照实验作为一种方法论，在现代科学和商业发展中发挥着重要作用。

它本质上可以通过控制单一变量来找到最佳解决方案，并已广泛应用于工程、医学、教育和许多领域的商业实践中。

我们今天要谈的A/B测试实际上是随机对照实验在互联网领域的具体应用。

二、A/B测试，互联网巨头的标准配置。

A/B测试-又称小流量实验。

它通常为功能/UI/逻辑策略提供两种不同的替代解决方案，从整个用户中随机抽取一小部分流量，分配给不同的解决方案，最后通过实验数据比较确定最佳解决方案。

如今，在硅谷和中国的互联网龙头企业中，A/B测试已经成为业务发展的标准。让我们简单梳理一下A/B测试是如何风靡各大互联网巨头的-

2000年2月27日，谷歌搜索部的一名工程师在互联网时代进行了第一次A/B测试——他想知道每页显示多少个搜索结果是最好的，默认为10。

实验是这样设计的：对于0.1%的搜索流量，每页显示20个结果；另外两个0.1%分别显示25、30个。

从直接结果来看，测试不成功——由于技术故障，实验组页面的加载速度明显慢于对照组，最终导致实验相关指标下降。

但谷歌获得了意想不到的收获——他们发现，即使是0.1秒的加载延迟也会显著影响用户满意度。很快，谷歌将把响应时间提高到高优先级。

从这个实验开始，A/B测试在谷歌迅速流行起来。

2012年，谷歌首席经济学家范里安表示，谷歌每年将进行5000多次A/B测试。

在亚马逊早期，工程师Greglinden提出了一个想法，即在客户付款时，根据他们购物车中的商品向他们提供个性化的冲动购买建议。

他小心翼翼地做了一个Demo，但演示结束后，亚马逊的一位副总裁武断否决了这个想法。Greglinden并不气馁。他在业余时间用了三个半月的时间完成了这个功能的开发，并测试了这个功能的小流量。

结果表明，即使是这个极其粗糙、简陋的版本，实验组用户的购买规模也增加了17%。

因此，今天常见的商品推荐功能在亚马逊开启。

首席执行官扎克伯格曾公开宣布：

在任何给定的时间点，Facebook都不会只有一个版本在线运行，而是超过1万个版本。我们的实验框架可以随时发现和感知用户最微妙的行为差异。

在中国，领先的互联网公司也有自己的A/B测试平台。比如字节跳动的Libra，美团的Gemini，滴滴的阿波罗。

张一鸣曾经说过：即使你99%把握一个名字比另一个名字好，测一测又有什么关系呢？

目前，字节跳动每天同时进行数万次A/B测试，每天新增实验1500多次，覆盖业务400多项。截至今年3月底，字节跳动已经进行了70多万次A/B测试。

第三，为什么互联网巨头热衷于A/B测试？

互联网公司大规模使用A/B测试并非偶然。这背后的深层次原因是A/B测试是数据驱动概念的最佳实施实践。它能以最小的风险实现业务的有效反馈。

字节跳动发布APP时，通常会给APP取多个名字，打多个包上架到应用市场进行A/B测试，观察不同名字的下载率、留存率等指标。

这背后实际上是一种尊重客观事实的决策哲学。

事实上，在硅谷的互联网文化中，有一个专有名词“HiPPO”——“Highest-paidperson”，即“公司收入最高的人说了算”。

谷歌技术专家AvinashKaushik曾说:

大多数互联网产品都很差，因为HiPPO创造了它们。

Netflix在2016年4月的一篇技术博客中写道：

通过比较测试，我们确保产品变更不是由最固执、最有发言权的网飞高管驱动的，而是由实际的在线数据驱动的，这是我们成功的基础。

有人会问，A/B测试的决策思想其实历史悠久，为什么直到现在才流行起来？

答案是实验成本。

在硬件产品时代，产品的开发成本非常高。如果一台电脑控制不同的变量，它实际上会变成两台不同的电脑，本质上属于两条产品线，开发多条产品线对硬件产品的成本非常高。

软件产品时代的开发成本也很高。一个版本的Windows需要开发几年，一个3A杰作的开发也需要几年。如此巨大的开发成本不能同时开发不同的版本。

同时，无论是硬件产品还是软件产品，从开发、上市到客户反馈，这个周期都极其漫长。如此漫长的周期也使得灵活的A/B测试难以大规模应用。

在互联网时代，每个产品特性都可以快速迭代，每个迭代都可以快速反馈。

降低开发成本和缩短反馈周期无疑为A/B测试提供了极其方便的实践条件。

为了充分发挥A/B测试的价值，很多互联网巨头也向C端用户开放了这种能力。

例如，在今日头条发布的文章界面中，作者可以选择双标题和双封面。小流量测试后，推荐系统会自动推荐点击率高的标题。

Facebook的广告系统还为广告商提供了组合实验能力，即客户可以上传不同的标题、描述、封面和按钮。

Facebook自动随机组合这些元素，形成多个创意A/B测试，自动将预算分配给转化率最高的创意组合。

为什么今天传统的广告大师越来越少？

因为互联网广告在很大程度上不再依赖大师的灵感，而是依靠优化器每天测试无数版本的文案和材料，甚至许多文案都是由机器生成的。

4、如何用工具做好A/B测试？

在上述部分，我们了解了A/B测试的原理和意义。许多公司会问：我知道A/B测试是今天增长越来越困难的好事。我们应该如何付诸实践？

事实上，A/B测试的实践并不是一个简单的过程，它比很多人想象的要困难，这体现在几个层面——

首先，需要确定A/B测试的关键环节。A/B测试的问题是什么，即企业必须知道哪些环节是促进业务发展的关键，并在关键环节进行测试。

如果找不到关键环节，无论做多少A/B测试，在无关痛痒的环节都是徒劳的。

其次，需要确保A/B测试过程的科学性和合理性。例如，控制单个变量，即确保实验组和对照组之间只有一个关键变量；

例如，确保流量分配的均匀性和随机性，即实验组和对照组的流量完全独立，无相互影响。

最后，还需要确定合适的评价指标。

评价指标通常不止一个，是看A指标还是B指标？过程指标还是结果指标？短期指标还是长期指标？单个指标还是多个指标？这些都需要根据实际业务情况仔细决定。

因此，A/B测试并不容易。为了充分解决上述问题，开发一个完整的实验系统是企业的解决方案之一，但这通常需要更高的开发成本。

另一种方法是使用成熟的第三方测试工具。

例如，字节跳动通过其TOB品牌火山引擎统一对外开放其内部A/B测试技术能力。

2014年，字节开始推动A/B测试平台化，2016年A/B测试平台Libra正式成立。

自运行以来，Libra已经在字节的多条产品线上验证了其有效性。同时，经过多年的迭代，在实用性、易用性和灵活性方面得到了充分验证。

火山引擎A/B测试适用于哪些场景？主要有以下几个--

个性化推送实验：在运行场景中支持APP个性化推送同组的推送效果。

可视化站实验：无需代码，操作人员可直接在页面上修改文案等元素进行试验。

多链接网页实验：在需要跳转网页的情况下，可以将流量打到不同的登录页上进行比较和评估。

客户端和服务端编程实验：从前端交互、功能迭代到后端战略和模型优化，支持灰度发布。

火山引擎A/B测试可灵活支持客户获取、留存、转换、传播等环节的测试。

例如，在客户获取阶段，您可以看到哪种文案更合适；在转换阶段，您可以看到哪种算法效果更好；在沟通阶段，您可以看到哪种互动效果更好。

悟空租车使用火山发动机的A/B测试来比较整个租车过程。实验的出发点是减轻用户对押金的压力，提高转化率。

悟空汽车租赁的原始流程是在同一页面支付租金和押金。用户在支付时的心理成本很高，因此产品经理设计了一个新的计划——延迟支付押金，即在支付押金之前先支付租金。

但是悟空租车不知道新方案是否有效，所以做了小流量A/B测试。

显然，新方案页面的流程更长，直观体验增加了用户的运营成本。然而，结果表明，新方案的整体转化率提高了7%。

这就是A/B测试的意义。

据我观察，字节跳动确实对A/B测试有着深刻的理解。同时，通过内部经验和抛光，系统确实是同类产品中最成熟的，可以有效地解决企业的问题。

正如亚马逊对其内部使用的云服务开放一样，字节跳动也希望开放其有价值的能力。

这种开放是一种增量，既是实现自身技术能力，也是通过市场验证反馈团队的技术水平。

最后总结一下——最后总结一下-

A/B测试作为一种科学的实验手段，可以帮助企业在各种方案中寻求最佳解决方案，以最小的风险前提验证战略效果，为企业规避风险。

作为互联网时代的企业，理性拥抱前沿趋势始终是最佳选择。

转载请注明来自专注SEO技术,教程,推广 - 8848SEO，本文标题：《互联网ab测试是什么意思（谈为什么互联网巨头如此热衷于A/B测试）》

标签：互联网