一、概念与基础

1、名字由来

阿瑟.萨缪尔Arthur Samuel,1952年研制了一个具有自学习能力的西洋跳棋程序，1956年应约翰.麦卡锡John McCarthy（人工智能之父）之邀，在标志着人工智能学科诞生的达特茅斯会议上介绍这项工作。他发明了“机器学习”这个词，将其定义为“不显示编程地赋予计算机能力的研究领域”。

2、假设空间hypothesis space

3、版本空间version space

4、归纳偏好inductive bias

机器学习算法在学习过程中对某种类型假设的偏好。如果没有偏好，产生的模型每次在进行预测时随机抽选训练集上的等效假设，那么对这个新输入，学得模型时而告诉我们它是好的、时而告诉我们它是不好的，这样的学习结果显然没有意义。

归纳偏好对应了学习算法本身所做出的关于"什么样的模型更好"的假设。在具体的现实问题中，这个假设是否成立，即算法的归纳偏好是否与问题本身匹配，大多数时候直接决定了算法能否取得好的性能。

5、“奥卡姆剃刀”Occam’s razor

常用的、自然科学研究中最基本的原则，即“若有多个假设与观察一致，则选最简单的那个”（在回归学习中一般认为更平滑意味着更简单）

6、“没有免费的午餐”定理No Free Lunch Theorm，NFL

无论学习算法1多聪明、学习算法2多笨拙，他们的总误差与学习算法无关，期望性能相同。

→ 若考虑所有潜在问题，则所有学习算法都一样好，要谈论算法的相对优劣，必须针对具体的学习问题，学习算法自身的归纳偏好与问题是否相配，往往会起到决定性作用。

7、机器学习5种学习方法

1、监督学习supervised learning：是利用已知类别的样本（即有标记的样本 labeled sample，已知其相应的类别），调整分类器的参数，训练得到一个最优模型，使其达到所要求性能，再利用这个训练后的模型，将所有的输入映射为相应的输出，对输出进行简单的判断，从而实现分类的目的，这样，即可以对未知数据进行分类。
2、无监督学习unsupervised learning：把相似度高的东西放在一起，对于新来的样本，计算相似度后，按照相似程度进行归类就好。
3、半监督学习semi-supervised learning：处在监督学习和无监督学习之间的是半监督学习。Semi-Supervised Learning中使用的数据，有一部分是标记过的，而大部分是没有标记的。因此和监督学习相比，半监督学习的成本较低，但是又能达到较高的准确度。
4、强化学习reinforcement learning：所谓强化学习就是智能系统从环境到行为映射的学习，以使奖励信号(强化信号)函数值最大，强化学习不同于连接主义学习中的监督学习，主要表现在教师信号上，强化学习中由环境提供的强化信号是对产生动作的好坏作一种评价(通常为标量信号)，而不是告诉强化学习系统RLS(reinforcement learning system)如何去产生正确的动作。（相当于先无监督后有监督）
5、迁移学习transfer learning：考虑到大部分数据或任务是存在相关性的，所以通过迁移学习我们可以将已经学到的参数（parameter）分享给新模型从而加快并优化模型的学习，不用像之前那样从零开始，把已训练好的模型参数迁移到新的模型来帮助新模型训练数据集。

未完待续，喜欢的朋友可以关注后续文章~

参考书目：
周志华.《机器学习》
邱锡鹏.《神经网络与深度学习》

机器学习基础（一）：简介相关推荐

Scikit-Learn 与 TensorFlow 机器学习实用指南学习笔记1 — 机器学习基础知识简介
红色石头的个人网站:redstonewill.com 本章介绍的是每一个数据科学家都应该知道并听说的机器学习许多基本的概念和术语.这将是一个高层次的概括(本书唯一没有很多代码的一章).内容很简单,但是 ...
【从零开始学习人工智能】人工智能简介 - 02机器学习基础
人工智能简介 - 机器学习基础引言在人工智能领域,机器学习是一项重要的技术,它使计算机能够从数据中学习和改进,实现自主的决策和预测.本文将介绍机器学习的基本概念.主要算法和应用场景. 1. 机器学 ...
python基础教程免费下载-《Python机器学习基础教程》高清版免费PDF下载
Python机器学习基础教程-[德] 安德里亚斯·穆勒(Andreas C.Müller)[美]莎拉·吉多(Sarah Guido) 著,张亮(hysic) 译下载地址1:网盘下载下载地址2:网盘 ...
机器学习基础（七）：概率图模型（HMM、MRF、CRF、话题模型、推断方法）
7.概率图模型概率模型probabilistic model:提供一种描述框架,将学习任务归结于计算变量的概率分布,核心是如何基于可观测变量推测出未知变量的条件分布 → ①生成式generative ...
AI之AutoML：autosklearn/Auto-Sklearn(基于scikit-learn库的自动化的机器学习工具)的简介、安装、使用方法之详细攻略
AI之AutoML:autosklearn/Auto-Sklearn(基于scikit-learn库的自动化的机器学习工具)的简介.安装.使用方法之详细攻略目录 autosklearn/Auto-S ...
橙子01-大数据基础入门简介
橙子01-大数据基础入门简介大数据的概念 volume variety velocity value 大数据技术大数据处理的基本流程云计算的三个关键技术大数据的应用相关视频内容可在b站观看大 ...
机器学习基础（五）：计算学习理论（PAC学习、有限假设空间、VC维、Rademacher复杂度、稳定性）
5.计算学习理论计算学习理论computational learning theory:研究关于机器学习的基础理论几个常用不等式: 5.1 PAC学习概率近似正确(PAC)Probably Ap ...
机器学习基础（六）：贝叶斯分类（贝叶斯决策论、朴素/半朴素贝叶斯分类器、贝叶斯网、EM算法）
6.贝叶斯分类 6.1贝叶斯决策论Bayesian decision theory 概率框架下实施决策的基本方法. 对分类任务来说,在所有相关概率都已知的理想情形下,贝叶斯决策论考虑如何基于这些概率和 ...
基础篇 | 01 机器学习基础
本系列概述核心内容是深度学习,只不过我们会进行代码实践,来巩固我们讲的概念的基础.会使用机器学习开发可以实际使用的工程项目,这也是我们这个系列跟其它机器学习最大区别的地方. 深度学习的意义当然,不 ...
机器学习基础知识之概率论的Matlab描述概率的图像（一）
机器学习基础知识之概率论的Matlab描述概率的图像(一) (由于有很多的分布,而且还有一维分布以及多维分布,因此,我们一篇博文写下来的话内容量太大,文章太长,因此,我们分三次写完所有的基本的一维以及 ...

机器学习基础（一）：简介