AB观｜“中国移动”为何能制霸4G时代？

**中国4G市场有多重要？**2017年中国4G用户将超过10亿，同期全球4G用户也不过20亿左右。**中国移动4G市场统治力有多强？**当中国联通和中国电信，在2016年底还在为4G注册用户数破亿而弹冠相庆时，中国移动已经成为全球首个4G LTE注册用户超过5亿的运营商。在中国，每增加10个4G用户，就有6个来自中国移动，全世界每增加10个4G用户，就有3个来自中国移动。

**究竟是什么原因，让中国移动在4G时代呈现出一家独大的态势？**坊间最大的两个谣言莫过于——初期独占技术占优的TDD牌照与TDD与TD-SCDMA的3/4G平滑演进。

辟谣一：2013年底，工信部“同时”向三大运营商发放了TD-LTE牌照，不存在中国移动初期独占TD-LTE牌照的情况。两年后，工信部只向联通电信办法了FDD牌照。只是拿到TDD牌照后，联通电信并未跟进基站建设，始终苦等FDD牌照。高通等公司相关研究表明：TDD的分布频段总体高于FDD，其覆盖能力先天弱于FDD，TDD并不是某些小编嘴里所说的香饽饽，工信部给中国移动的这张牌也并不是“四个2带两王”。

**辟谣二：**关于3/4G平滑演进，一众小白认为TD-SCDMA可平滑演进到TD-LTE，而联通电信无法实现平滑演进。实际上，**无论是移动的TD-SCDMA还是联通的WCDMA还是电信的CDMA，都无法向任何4G LTE技术平滑演进。**之所以大众会误解，是因为官方将TDD-LTE命名为TD-LTE，让大家认为这是TD-SCDMA的LTE版。

既没有技术倾斜，又没有技术便利，甚至还有在3G时代的第一波团战中TD-SCDMA**给自己放了一个晕眩和弱化技能，**中国移动竟然能实现4G用户快速增长。这种如同武侠小主说中“打通任督二脉”带来的逆天转变，恐怕让许多运营小伙伴心理戏和看完下图一样样的——居然还有这种操作！

这里有一个大背景要交代：移动互联网发展初期，受到社交媒体软件OTT服务冲击，面临管道化危机。中国移动切实感受到了用户体验在用户“增长“留存”方面的重要性。新环境、新形势，居安思危的中国移动意识到自己已走到了十字路口。

站在路口的人有很多，可是真正走在正确道路上的寥寥无几。**在中国，许多科技互联网企业最终都演变成劳动密集型企业，其根本原因就在于它们无法体会“试验驱动创新、数据驱动决策”的精髓。**中国移动意识到并找到了合适的工具，选用了优秀的A/B测试工具（有哪些？），并广泛应用在旗下的服务和App之中，不仅“想到”，而且“做到”。

让我们通过三组案例，来了解一下中国移动是如何在4G时代通过A/B测试工具实现持续创新和快速决策的。

01 案例一：4G管家——业务更名优化

4G管家，是中国移动为4G用户专门定制的移动端APP。您可以将4G管家看作升级版的“中国移动移动营业厅”App。在上线众多的XX移动App之后，仍然单独上线4G管家，并采用全新的定位、接入大量专属服务，足以证明：

中国移动打算在产品体验层面上打出差异化，让新老用户都能与以往的移动产品区分开。因此，用户活跃度就成为4G管家的核心关注指标，每一处修改不仅要大胆创新而且要稳妥慎重。

此时，产品部门提出了一个更新计划：将业务文案由“话费余额”修改为“话费账单”，并对应在APP首页和服务页面进行修改。

**按照以往的思路，大致的流程可能会是这样的：**产品部门提出改名需求，讨论后确定“话费账单”，全量更新后，如果数据正向还好，如果结果指标不理想，就需要紧急回滚，如此反复，怎么看都不像一次产品决策，更像是一次豪赌。

好在当时中国移动已经开始接触A/B测试，他们采用 A/B测试（吆喝科技提供）单盲试验的方式，将两个版本同时测试，对不同版本的用户进行行为对照试验（如下图所示）。吆喝科技的AppAdhoc A/B Testing采用科学的试验流量分割，使得每一组试验对象具备一致的用户特征，并在试验过程中也可以随时调整用户流量。

此时，中国移动可以将优化指标分为三个维度进行观察：基础指标（PV、UV）、关键指标（次日留存率）、核心业务指标（七日留存率、余额入口点击量、余额入口点击率），从而判断本组试验从基础到核心业务的数据表现。

此次试验在运行了近三周之后（一般来说，为了获得更加可信的数据结果，试验运行周期应至少保证1-2个完整的自然周），后台数据已经能够非常明确显示出：

试验版本的“话费账单”文案在安卓端和iOS端的指标置信区间显著，上下限均为负值，导致核心业务数据下降近23%；而且试验版本对iOS端部分核心关注数据有负面影响；用户对试验版本文案的接受度不高，整体功能识别度低于原始版本的“话费余额”文案。* 原始版本，无疑通过直观数据证明了起产品合理性，产品团队综合考虑了用户对于余额业务的使用情况和核心价值后，最终决定放弃此次求改维持原文案不变。此后，中国移动在4G管家上进行了“防诈骗短信”功能灰度发布。“诈骗短信”鉴别这样的功能呼声一直很高，为什么中国移动要采用灰度发布的形式呢？

**一方面，**移动端入口寸土寸金，一个新功能的露出，也就意味着其他功能显示层级下降，有可能会造成整体运营效果的下降；**另一方面，**增加的防诈骗短信功能会对4G管家的人工服务工作量造成较大压力，需要在保证无使用异常的情况下，实现整体的平稳过渡。

AppAdhoc A/B Testing平台支持灰度发布的功能，企业可在试验过程中随时调整用户流量，在版本稳定无bug的前提下，逐步扩大新版的使用群体，完成产品发布的平稳过渡。

通过AppAdhoc A/B Testing的灰度发布功能，此次试验在三周左右的时间内，顺利上线了新功能，并得到了积极的数据改变。试验结果表明：

新功能的上线使用户活跃度得到了大幅提高，对iOS端的核心业务数据提升明显（平均增加68%）；* **防诈骗短信功能发布无异常，有效缓冲了人工服务的压力，保证了新功能的平稳顺利上线。**目前，4G管家应用已经完成了其历史使命，更名为10086（APP），但是中国移动在移动端的努力还没有结束，涉及10086的内容我们在案例三中还会展开说明。从这两个例子中我们可以看出，在“试验驱动创新、数据驱动决策”方面，A/B测试相比经验主义的决策模式，有着难以匹敌的优势——低成本、高效率、风险可控、精确度高。业界专家曾言，顶级的PM也只能跑得赢一半的 A/B Testing。

02 案例二：中移在线 APP 导流页优化

**据预测，微信将在2017年内实现总用户量10亿的量级……**对，三大运营商4G注册用户总和……求各位运营商小伙伴内心阴影面积(⊙﹏⊙)……几乎覆盖了所有中国移动用户，如果竞争在这玩得风生水起，后果不堪设想。让每一个微信用户都转化为移动的用户，这是中国移动喜闻乐见的。

在公众号的主要服务模块以及每一期运营活动中，都有一个专门引导用户下载APP的落地页，10086的数据部门负责人发现，目前版本的下载界面很长（有6屏之多）,虽然每屏都有引导下载的入口，但数据显示，除了首屏的下载转化相对较多以外，其他几屏的数据很不理想。在综合评估后，产品部门决定将新版下载界面缩短至一屏，看是否能对下载转化进行提升，具体方案如下：

**原始版本：**页面内容相对丰富，分为6屏从不同角度描述APP功能，且每个页面都有转化按钮；**试验版本：**将原有的6屏内容整合为单一屏，同时增强CTA按钮的视觉效果。

在观察对比不同版本的试验数据后，产品部门得出了科学的试验结论：新版入口不论从点击还是转化来说，数据都达到了统计显著，样本提升幅度在55%，从置信区间的预估看来，整合为一屏后的导流转化至少可以增加12.4%；

这些数据很好地验证了数据部门和产品部门的假设，基于中国移动10086公众号现有的用户，过多的功能介绍反而会分散用户的注意力，只需要简明扼要的表达移动端可以给他们带来的价值，用户自然就会下载产品；本次试验的带来的宝贵经验，也为后续的产品优化提供了更加明确的方向。

03 案例三：10086客服界面更名优化

多年以来，网友以“调戏”10086短信自助服务为乐，或许也真的是因为中国移动短信自助服务真的很好用。10086在许多网友心中就是中国移动的代名词，前文提到的4G管家后期正式更名为10086，也证明了10086所蕴含的品牌价值。

目前10086 APP客服问题页面默认采用“热门问题展开形式”进行展现，产品部门推断这种展现方式导致“积分”等类型问题、和拨打10086等按钮无法一屏展示，进而影响用户快速找到相关问题知识，造成客服界面的使用率较低。可能几个问题稳下来之后，用户依然一脸懵逼、无奈离开。

为了提升首页各问题栏目的点击量以及在线客服支持的利用率，降低用户在APP内拨打10086次数，减少10086客服中心压力，产品部门决定通过A/B测试修改应用中客服界面的布局和按钮，决定创建3个试验版本，具体方案如下：

本次试验选择A/B测试与灰度发布相结合的方式，初始流量分配4%（各版本分配1%的流量），在确保真实环境下无bug及报错情况后，逐步调大试验流量，试验周期为14天。同时，将各版块中问题栏目的点击和“联系在线客服”的按钮点击，作为本次试验的核心关注指标。

这一次测试和发布，最红数据结果非常重要，影响也非常深刻，让我们先来看看，最终都得出了那些结论：

不论“热门问题”的展开与否，还是“拨打10086”按钮存在与否，对用户点击不同类型的问题栏目都没有显著的直接影响；如果要提升问题栏目的点击，要关注具体问题的以及答案的质量；* 从引导用户点击在线支持来说，不展开“热门问题”并去掉“拨打10086”按钮的试验版本3效果最好，统计显著结果并提升了近25%；* 对于试验版本1，数据结果显示当“热门问题”栏被折叠，页面最下方的客服和拨打10086按钮上移，用户关注热线以及在线客服的兴趣也会相应提升，其中选择拨打电话的用户提升更加明显；* 这些数据证明用户对页面下方的按钮使用率（包括拨打10086和使用在线客服），与“热门问题”的是否展开还是有一定关联的，产品部门可以依据本次试验的宝贵经验，为后续的优化明确方向。

**让我们来看看10086最新的用户界面：**在线服务被首页推荐，作为下方三个TAB标签之一并剧中，顶端突出在线人工客服，隐去10086热线，展开了热门回答，精选了露出的题目，并在每个分类下添加了标签，几乎每一处改动都是基于这次试验所得出的结论。

A/B观

“管理方式越落后，经验主义越盛行，产品决策越依赖运营能力和供应链管理能力，而非产品创新。即便像中国移动这样占据主导地位的企业，核心竞争力依然来自产品创新与体验。而提升产品体验就要学会用试验驱动创新、用数据驱动决策——**A/B测试，**是被国际一流科技公司普遍采用的数据分析工具和产品决策工具。科学运用A/B测试，才有机会跑赢竞品、跑赢巨头、跑赢整个行业。”