李宏毅《深度学习》笔记（一）

一、机器学习介绍

1.人工智能、机器学习、深度学习的概念区分

人工智能（Artificial Intelligence）：这是一个很广泛的概念，这个词在1950年就有了。这个词意味着一个人类长远以来的目标，希望机器可以跟人一样的聪明，因此人工智能是我们想要达成的目标。
机器学习（Machine Leaning）：而对于如何实现人工智能？人们希望让机器能够像人一样去学习。因此机器学习是想要达成目标的手段，希望机器通过学习方式，让机器跟人一样聪明。
深度学习（Deep Learning）：深度学习和机器学习有什么关系呢？深度学习就是机器学习的其中一种方法。

2.如何实现人工智能

生物学上说：生物的行为取决于两件事，一个是后天学习的结果，不是后天学习的结果就是先天的本能。同理，机器也有先天学习和后天学习两种途径。

先天学习：机器的先天学习就是来自于他的创造者，帮它实现设立好规则。比如If…then…规则，就是程序员给给机器的先天学习，即hand-crafted rules。
后天学习：要做的其实是让机器他有自己学习的能力，也就我们要做的应该machine learning的方向。讲的比较拟人化一点，所谓machine learning的方向，就是你就写段程序，然后让机器人变得了很聪明，他就能够有学习的能力。接下来，你就像教一个婴儿、教一个小孩一样的教他，你并不是写程序让他做到这件事，你是写程序让它具有学习的能力。

其实靠先天学习是万万不够的。使用hand-crafted rules的坏处就是：使用hand-crafted rules你没办法考虑到所有的可能性，它非常的僵化，而用hand-crafted rules创造出来的machine，它永远没有办法超过它的创造者人类。人类想不到东西，就没办法写规则，没有写规则，机器就不知道要怎么办。所以如果一个机器，它只能够按照人类所设定好的hand-crafted rules，它整个行为都是被规定好的，没有办法freestyle。如果是这样的话，它就没有办法超越创造他的人类。讲个笑话，

这幅漫画的内容是商场里有一个销售在销售一个AI机器人，具有非常高的人工智慧，但是里面的所谓算法非常复杂没人知道是什么。一位脾气暴躁的小哥非常想知道里面究竟装的什么东西，于是一刀劈开AI机器人，发现里面都是if的代码块。显然，我们想做的机器学习显然不是这种if else 语句的堆砌。

因此，我们主要介绍的是机器的后天学习。

二、机器学习的进一步认识

1.机器学习的本质

机器学习的本质，就是函数（Function）。机器学习的实质是，寻找一个合适函数，能够基于输入，输出人类想要的结果，如下：

不论是语音识别、图像识别或是其他方向，机器学习的认识就是基于以后的数据进行学习。比如，学习这个图像是猫，学习这段语音在说“Hello”，并训练出一个函数(Function)，当输入未知的结果的数据时，根据这个函数得出答案。

2.机器学习的步骤

左边这个部分叫Training，就是学习的过程；右边这个部分叫做Testing，学好以后你就可以拿它做应用。所以在整个Machine Learning Framework整个过程分成了三个步骤。第一个步骤就是找一个Function，第二个步骤让Machine可以衡量一个Function是好还是不好，第三个步骤是让Machine有一个自动的方法，有一个好演算法可以挑出最好的Function。

3.机器学习的相关技术

机器学习领域主要的技术有：监督学习、半监督学习、迁移学习、无监督学习、结构化学习、强化学习

3.1监督学习（Supervised Learning）

监督学习是从标注数据中学习预测模型的机器学习问题。标准数据表示输入输出的对应关系，预测模型对给定的输入产生相应的输出。监督学习的本质是学习输入到输出的映射的统计规律。（Tip：监督学习一定要有输出）

在监督学习中训练数据既有特征(feature) 又有标签(label)，通过训练，让机器可以自己找到特征和标签之间的联系，在面对只有特征没有标签的数据时，可以判断出标签。

监督学习中常见的算法代表：支持向量机（Support Vector Machine, SVM）、线性判别(linear discriminant analysis，LDA)、决策树(Decision Tree）、朴素贝叶斯（Naive Bayesian Model，NBM）

如果我们在监督学习下进行学习，我们需要告诉机器function的input和output是什么。这个output往往没有办法用很自然的方式取得，需要人工的力量把它标注出来，这些function的output叫做label。那有没有办法减少label需要的量呢？就是半监督学习。

3.2半监督学习(Semi-Supervised Learning)

半监督学习是监督学习与无监督学习相结合的一种学习方法。半监督学习使用大量的未标记数据，以及同时使用标记数据，来进行模式识别工作。当使用半监督学习时，将会要求尽量少的人员来从事工作，同时，又能够带来比较高的准确性。

举个例子：

在半监督学习的技术中，这些没有label的data可能也是对学习有帮助的。

3.3迁移学习(Transfer Learning)

迁移学习是机器学习中的一大类学习方法。通俗来讲，就是运用已有的知识来学习新的知识，核心是找到已有知识和新知识之间的相似性，用成语来说就是举一反三。由于直接对目标域从头开始学习成本太高，我们故而转向运用已有的相关知识来辅助尽快地学习新知识。比如，已经会下中国象棋，就可以类比着来学习国际象棋等等。世间万事万物皆有共性，如何合理地找寻它们之间的相似性，进而利用这个桥梁来帮助学习新知识，是迁移学习的核心问题。

假设我们要做猫和狗的分类问题，我们也一样，只有少量的有label的data。但是我们现在有大量的data，这些大量的data中可能有label也可能没有label。但是他跟我们现在要考虑的问题是没有什么特别的关系的，我们要分辨的是猫和狗的不同，但是这边有一大堆其他动物的图片还是动画图片（凉宫春日，御坂美琴）你有这一大堆不相干的图片，它到底可以带来什么帮助。这个就是迁移学习要讲的问题。

3.4无监督学习(Unsupervised Learning)

无监督学习是已知数据不知道任何标签，按照一定的偏好，训练一个智能算法，将所有的数据映射到多个不同标签的过程。

如果在完全没有任何label的情况下，到底机器可以学到什么样的事情。举例来说，如果我们给机器看大量的文章（在去网络上收集站文章很容易，网络上随便爬就可以）让机器看过大量的文章以后，它到底可以学到什么事情。

无监督学习中常见的算法代表：聚类（Cluster）

3.5监督学习中的结构化学习（Structured Learning ）

Structured Learning 中让机器输出的是要有结构性的，举例来说：在语音辨识里面，机器输入是声音讯号，输出是一个句子。句子是要很多词汇拼凑完成。它是一个有结构性的object。或者是说在机器翻译里面你说一句话，你输入中文希望机器翻成英文，它的输出也是有结构性的。然后机器要把这些东西标出来，这也是一个Structure Learning问题。

3.6强化学习（Reinforcement Learning）

在reinforcement learning里面，我们没有告诉机器正确的答案是什么，机器所拥有的只有一个分数，就是他做的好还是不好。若我们现在要用reinforcement learning方法来训练一个聊天机器人的话，他训练的方法会是这样：你就把机器发到线下，让他的和面进来的客人对话，然后想了半天以后呢，最后仍旧勃然大怒把电话挂掉了。那机器就学到一件事情就是刚才做错了。但是他不知道哪边错了，它就要回去自己想道理，是一开始就不应该打招呼吗？还是中间不应该在骂脏话了之类。它不知道，也没有人告诉它哪里做的不好，它要回去反省检讨哪一步做的不好。机器要在reinforcement learning的情况下学习，机器是非常intelligence的。 reinforcement learning也是比较符合我们人类真正的学习的情景，这是你在学校里面的学习老师会告诉你答案，但在真实社会中没人回告诉你正确答案。你只知道你做得好还是做得不好，如果机器可以做到reinforcement learning，那确实是比较intelligence。

以上便是李宏毅《深度学习》第一章节的课程笔记。图片来源于李宏毅老师的《机器学习》课程视频。笔记是根据自身需要记录的，分享给同样有需要的朋友，也欢迎指正错误呀~~