作者 | 熊猫教授    编辑  | Emma

来源 | 熊猫教授（ID：IT_ProfPanda）

我博士毕业后，先后在微软亚洲研究院、eBay中国、IBM工作过，最近几年我的Title是数据科学家，有读者问我，数据科学家究竟能挣多少钱？

其实能够用得起数据科学家的公司，最起码都是大厂吧，数据科学家基本相当于M线总监以上级别了，所以待遇方面参照阿里P9往上，也就是说现金+期权，总包至少200万+。

挣钱这么野的数据科学家，究竟是怎么练成的呢？需要具备哪些技能？

上一篇我们介绍过数据分析师，实际上，数据分析师和数据科学家的职责范围在很多时候都是有所重叠的，数据分析师的主要职责是“通过使用数据、生成洞见，回答问题，最终帮助领导层做出业务决策，为企业提供价值”，侧重于分析现有的数据。

而数据科学家的主要职责是“通过建模和预测来回答关键性的业务问题”，侧重于预测未来的数据。

即便如此，数据科学家仍然需要能够像数据分析师一样清理、分析和可视化数据。所以他们也需要深入理解商业模式、分析业务问题分析、处理并展示数据、产生洞见、进行团队的合作等等。

那你可能会问，如果数据科学家和数据分析师的工作范围差不多，那么其价值又体现在何处呢？在我看来，一个优秀的数据科学家，需要在如下两个方面发力：第一个是AB测试，第二个是人工智能和机器学习相关的技术。

1

AB测试

AB测试的英文是AB Testing(Tests)。在实际应用中，我们希望能够量化新方法最终带来的收益，并依据相关的数据进行决策。

为了使这种量化尽可能准确、客观，现在的互联网公司通常是根据用户的在线行为来评估算法，并比较同类算法的表现，以此来选择相应的算法。在线测试有一个很大的挑战，那就是如何排除非测试因素的干扰。先来看看下图的例子。

从图中可以看出，自某年的9月开始，转化率曲线的趋势发生了明显的变化。假如这个月恰好上线了一个新版的技术方案A，那么转化率上涨一定是新方案导致的吗？

其实不一定，可能9月有一个大型的促销，使得价格有大幅下降，或者有一个和大型企业的合作引入了很多优质顾客等，原因非常多。如果我们取消9月上线的技术方案A，然后用虚线表示在这种情况下的转化率曲线，这个时候得到了另一张图，如下图所示。

从这张图可以发现，不用方案A反而获得了更好的转化率表现，所以简单地使用在线测试的结果往往会导致错误的结论。我们需要一个更健壮的测试方法，即AB测试。

AB测试，简单来说，就是为同一个目标制定两个或多个方案，让一部分用户使用A方案，另一部分用户使用B方案，记录下每个部分用户的使用情况，看哪个方案产生的效果更好。

这也意味着，通过AB测试的方式，我们可以得到使用多个不同方案之后所产生的多组结果，用于比对。问题来了，假设我们手头上有几组不同的结果，每组对应一个方案，包含了最近30天以来每天的转化率。

如何判断哪个方案的效果更好呢？你可能会想，对每一组的30个数值取均值，看看谁的均值大不就可以了。但是，这真的就够了吗？

假设有两组结果需要比较，每一组都有5个数据，而且这两组数据都服从正态分布。下图展示这两个正态分布之间的关系。

从上述这张图可以看出，左侧的正态分布A的均值 较小，右侧的正态分布B的均值 较大。可是，如果我们无法观测到A和B这两个分布的全部数据，而只根据这两个分布的采样数据来做判断，会发生什么情况呢？我们很有可能会得出错误的结论，如下图所示。

从此图可以看出，根据对样本的观测所得到的结论未必符合两个正态分布的差异情况。

例如，在上图的采样中，空心的圆点表示B的采样，它们都来自B分布的左侧，而实心的圆点表示A的采样，它们都来自A分布的右侧。

如果仅根据这两组采样数据的均值来判断，很可能会得出“B分布的均值小于A分布的均值”这样的错误结论。

换句话说，小规模的采样并不能代表数据的原始分布，AB测试面临的就是这样的问题。我们所得到的在线测试结果实际上只是一种采样。

所以我们不能简单地根据每个组的均值来判断哪个组更优。那么有没有更科学的办法呢？在统计学中，有一套成熟的系统和对应的方法，包括显著性差异、统计假设检验和显著性检验以及P值。

数据科学家需要对这些概念和理论非常熟悉，并灵活的运用在企业的实际案例中。

2

人工智能和机器学习

好莱坞著名的系列电影《终结者》想必大家都耳熟能详了，其中主角之一“天网”让人印象深刻。之所以难忘，是因为它不是人类，而是20世纪后期人们以计算机为基础创建的人工智能防御系统，最初是用于研究军事的发展，后自我意识觉醒，视全人类为威胁，发动了审判日。

当然，这一切都是剧情里的虚构场景。那么现实生活中，机器真的可以自我学习、超越人类吗？到目前为止，还没有证据表明现实中的机器能像“天网”一样思考。

但是，机器确实能在某些课题上按照人们设定的模式进行一定程度的“学习”，这正是人工智能和机器学习（Machine Learning）所关注的。

人工智能起源于上世纪的中期，衍生出了众多学术门派，而进入21世纪后，其中的子领域机器学习逐步成为主流，它是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。

它专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断完善，从而改善自身的性能。机器学习已经有了十分广泛的应用，例如：数据挖掘、计算机视觉、自然语言处理、生物特征识别、医学诊断，等等。

最常见的机器学习方法包括监督式学习（Supervised Learning）和非监督式学习（Unsupervised Learning）。

监督式学习包括分类（Classification / Categorization）和回归（Regression）技术，非监督式学习包括聚类（Clustering）和主成分分析（PCA）等等。

最近几年，出了前面这两种传统的学习算法，人们还发明了用于刻画机器和环境的互动的增强式学习（Reinforcement Learning），以及使用神经网络的深度学习（Deep Learning）。

对于数据科学家来说，要根据业务的实际需求，合理的运用这些建模算法，对未来的发展趋势进行预测。

写在最后的话

说到这里，咱们不难发现，数据科学家和数据分析师一样，需要具有对业务和数据良好的感觉，并掌握相应的分析技术。

但是仅仅有这些还不够，数据科学家还要具备扎实的统计学、概率学和线性代数等专业知识。如果你对这个岗位有兴趣，就需要从这些课程入手，夯实基础，这样才能充分理解并运用AB测试以及人工智能相关的技术。

作者简介，熊猫教授，一位定居美国的计算机科学家，交大计算机博士，发表过20多篇国际论文和30项国际专利。曾任职于微软、IBM、eBay，出版过四本技术畅销书，极客时间3万畅销专栏作者。

END

关注熊猫教授，看计算机科学家的干货分享！

近期好文：

数据分析师，挣钱真野！

终于有人把深度学习讲清楚了！

数据科学家，需要写SQL吗？