论文阅读：Machine learning: Trends, perspectives, and prospects

绪论

机器学习强调让电脑通过学习自动地提高自己。其发展基于：

新的学习算法和理论

可用数据增多和计算成本变低

可以看到，机器学习的这几年的流行是多方面的因素，第二点的作用甚至更大一些：作为机器学习“燃料”的数据不仅提高了准确性，更避免了过拟合，提升泛化性能；计算速度的大幅提高，才让九十年代末进入瓶颈的算法得以真正运行，并且应用到较为复杂的图像领域，使深层网络成为可能。

其关注问题在于：

如何构建一个让机器通过经验（experience）学习从而得到提升？

什么是掌控所有学习系统基本统计计算理论？(What are the fundamental statistical-computational-information-theoretic laws that govern all learning systems, including computers,humans, and organizations?)

第一个问题较为容易理解，这是一个很实际的问题。比如我们可以定义损失函数来评价模型目前的偏差，并想方设法减小这些偏差，我们的模型也就得到了提升。这种反馈的思想也早已在电子、控制行业中采用，只不过用途不尽相同：机器学习的目的是预测甚至是生成，即输入未知数据来得到分析之后的属性，或通过分析产生新的数据；而电子控制中的目的是稳定，在干扰的条件下将所控制的值控制到我们想要的值上。
第二个问题很难回答。目前在人脑的机理尚未完全了解的情况下，我们已经开始尝试通过纯计算来达到学习的效果。可能我们做的只是不断地优化，但效果已经显现。

通过二十年的发展，机器学习已经在很多方面得到了应用，原文也举了很多例子。

学习问题可以被定义为当通过某种类型的训练经验来执行某个任务时改善一些性能度量的问题。

增强性能减小误差是学习的目标，改变误差的定义往往会达到不同的效果，比如对label true 而output false 的结果（未检出）加大惩罚，就会达到“宁可错杀一千不可放过一个”的效果。当然这只是有客观结果的学习，对于无客观结果，如融合两幅画的风格生成新的一幅画，很难用人的判断去决定误差大小。

许多算法关注于函数的近似问题。

传统回归问题也是一种函数的近似，而当我们我们把图片看作是函数输入 x x，分类结果看作是输出yy，那么网络可以看作一种较为复杂的函数 f(x) f(x)（简单说是经过了很多层的矩阵运算）。传统我们可以根据公式，使用不同模型（多项式、高斯函数）对输入输出进行回归拟合，达到预测效果。而如今数据量太大，很难得到解析解，这就需要不断地改变参数从而使误差减小。

无论什么学习算法，一个关键的科学和实践目标是在理论上描述特定学习算法的能力和任何给定学习问题的固有困难：算法如何准确地从特定类型和大小的训练数据学习？算法对于其建模假设中的误差或训练数据中的误差有多鲁棒性？给定一个给定量的训练数据的学习问题，是否有可能设计一个成功的算法或这个学习问题根本难以处理？

也正是因为采用不断迭代更改参数提高性能的原因，一旦模型确定，我们很难再去更改学习后模型内的参数。输入的数据也不同，得到的模型结果很难是相同的。这样一切得到的结果就是数学上的概率。

Drivers of machine-learning progress

过去十年，网络和移动计算系统收集和传输大量数据的能力迅速增长，这种现象通常被称为“大数据”。收集这些数据的科学家和工程师经常转向机器学习，并从这些数据集获得有用的预测和决策。事实上，数据的绝对尺寸（sheer size）使得必须开发出可扩展的程序，同时考虑计算和统计，但问题不仅仅是现代数据集的大小；它是许多这些数据的粒状（granular），个性化的性质。

大数据差不多也是和机器学习同时兴起的，这是十年中数据指数型上升的必然结果。同样数据也从集约化的数据库（由工程师指定数据的项目、输入的格式），变成了发散的个性化的内容，每个人都可以是数据的制造者。这对数据的处理和分析带来了一定的困难。

Core methods and recent progress

下面是核心方法和目前进展

The most widely used machine-learning methods are supervised learning methods

目前看来还是监督学习是使用最广泛的。这也就是上面说的函数拟合问题了：通过学习映射f（x）形成它们的预测，其为每个输入x（或给定x的y上的概率分布）产生输出y。当然存在许多不同形式的映射f，包括决策树，决策树，逻辑回归，支持向量机，神经网络，内核机器和贝叶斯分类器。不过这些不是重点，重点在于深度学习。

深度网络是阈值单元（threshold units）的多层网络，每个网络计算其输入的一些简单的参数化函数。

目前的深度网络在利用GPU的并行计算下，参数已经达到了数十亿，真是一个庞大的数字。。不过效果是越来越智能了，下图是两个例子：

尽管深度学习的大量实际成功来自用于发现这种表示的监督学习方法，但是还努力开发不需要标记训练数据的深度学习算法。一般问题被称为无监督学习，机器学习研究的第二范例。广泛地，无监督学习通常涉及在关于数据的结构性质（例如，代数，组合或概率）的假设下对未标记的数据的分析。

非监督学习是接下来的一个研究重点，Yann LeCun 在CMU的演讲上也特别提到了这一点（演讲内容）。未来的机器学习不仅要能学会，还要能通过学习到的进行创造，如生成对抗网络，视频预测等。

回归到论文中，第三个主要的机器学习例子是强化学习（ reinforcement learning ）。这里训练对象与外部环境有很多的互动。基本原理为：

如果Agent的某个行为策略导致环境正的奖赏(强化信号)，那么Agent以后产生这个行为策略的趋势便会加强。Agent的目标是在每个离散状态发现最优策略以使期望的折扣奖赏和最大。

Emerging trends

一个主要趋势是对机器学习算法操作的环境的日益关注。词语“环境”在这里部分地指计算架构；而经典的机器学习系统涉及在单个机器上运行的单个程序，现在通常将机器学习系统部署在包括数千或十万个处理器。

文中的例子是购物推荐系统，这是一个很实用并且应用范围很广的系统。对于每个人可以独立地学习其购物习惯，而对于一类人也可以有一个整体的学习和分类。大小不同层次和类别，可以让机器学习更有针对性。小的可以部署在个人客户端，大的可以在服务器，这样也充分利用了资源。

词语“环境”还指数据源，其范围从可能具有隐私或所有权关注的一组人，到可能对机器学习系统具有某些要求的分析员或决策者（例如，其输出是可视化的），以及围绕系统部署的社会，法律或政治框架。环境还可以包括其他机器学习系统或其他代理，并且系统的整体集合可以是合作的或敌对的。广义地说，环境向学习算法提供各种资源并对这些资源施加约束。机器学习研究人员越来越正式化这些关系，旨在设计在各种环境中可证明有效的算法，并明确允许用户表达和控制资源之间的权衡。

这里的环境是更大的环境，甚至超出了算法的范围。

之后是分布式的学习系统。学习是一项很耗费资源的计算活动，单个区域的计算资源不足时，采用分布式计算会大大提高效率。这里需要解决的是通信的问题了。

最终目标是除了精度要求之外还能够向机器学习系统提供时间和空间预算，系统找到允许实现这种要求的操作点。

Opportunities and challenges

目前的机器学习方法，是我们在如人类和其他动物，组织，经济和生物进化中观察到的学习类型。机器学习由简到难，这导致一些研究人员开始探索如何构建计算机终身学习者或永无止境的学习的问题。或者说通过学习能否找到一种最佳的学习方法从而自我学习。这样的话计算机是否就拥有了自我进化的能力呢。与自然学习系统类比的另一个方面提出了基于团队，混合主动学习的想法。

当然目前很大的问题在于数据来源与隐私。真正的大数据往往只存在于少数的几家大型互联网公司，而这些数据的来源就是网上每名用户。或许你正在使用免费的网盘服务，随时同步的照片为你带来了方便。但这些照片对于机器学习来说是最好的原料，而这些公司是否会在用户不知情的情况下拿来使用分析呢？从用户个人来看可能很难接受，但每一张单独的照片对于机器学习无关紧要，只有大量整体的数据才能达到最好的效果，比如非监督学习。由此带来的社会问题也是值得我们思考。

Machine learning: Trends, perspectives, and prospects相关推荐

【论文翻译】Machine learning: Trends, perspectives, and prospects
论文题目:Machine learning: Trends, perspectives, and prospects 论文来源:Machine learning: Trends, perspectiv ...
【论文翻译】Machine learning: Trends,perspectives, and prospects
论文题目:Machine learning: Trends, perspectives, and prospects 论文来源:Machine learning: Trends, perspectiv ...
Machine learningTrends, perspectives, and prospects
论文翻译:Machine learning:Trends, perspectives, and prospects 机器学习:趋势, 视角和前景 Abstract 摘要 Machine learnin ...
AI：Algorithmia《2021 enterprise trends in machine learning 2021年机器学习的企业趋势》翻译与解读
AI:Algorithmia<2021 enterprise trends in machine learning 2021年机器学习的企业趋势>翻译与解读目录 <2021 ent ...
Day 5. Suicidal Ideation Detection: A Review of Machine Learning Methods and Applications综述
Title: Suicidal Ideation Detection: A Review of Machine Learning Methods and Applications 自杀意念检测:机器学 ...
AI：Algorithmia《2020 state of enterprise machine learning—2020年企业机器学习状况》翻译与解读
AI:Algorithmia<2020 state of enterprise machine learning-2020年企业机器学习状况>翻译与解读目录 <2020 state ...
Build a Machine Learning Portfolio(构建机器学习投资组合)
Complete Small Focused Projects and Demonstrate Your Skills (完成小型针对性机器学习项目,证明你的能力) A portfolio is ty ...
CS190.1x Scalable Machine Learning
这门课是CS100.1x的后续课,看课程名字就知道这门课主要讲机器学习.难度也会比上一门课大一点.如果你对这门课感兴趣,可以看看我这篇博客,如果对PySpark感兴趣,可以看我分析作业的博客. Cou ...
Federated Machine Learning: Concept and Applications
郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! 今天的人工智能仍然面临两大挑战.一种是,在大多数行业中,数据以孤岛的形式存在.二是加强数据隐私和安全.我们提出了一个解决这些挑战的可能方案 ...

Machine learning: Trends, perspectives, and prospects