《神经网络与深度学习》 邱希鹏 学习笔记（一）
一、机器学习的基本要素
机器学习的基本要素: 模型 学习准则 优化算法
其中模型分为线性和非线性。学习准则有用损失函数来评价模型的好坏，还有经验风险最小化准则，大概意思就是在平均损失函数中获得最小的损失函数，但是因为样本可能很小，不全面，会造成过拟合问题，因此引入结构风险最小化准则，也就是参数的正则化来限制模型能力，防止模型过拟合。模型定义: 通过学习算法在训练集上进行优化参数 θ \theta θ，能够获得在测试集合上与真实值接近的映射关系的函数 f ( x , θ ) f(x,\theta) f(x,θ)就是模型。
不同深度学习的任务区别就是输出的区间不同： 如二分类，多分类以及回归问题（连续输出）
在名为模型的 f ( x , θ ) f(x,\theta) f(x,θ)中， x x x为输入的测试集， θ \theta θ为可优化的参数，而 m m m为参数的个数
模型分为线性和非线性两种。
分布的相似性用KL散度和交叉熵损失来描述
损失函数为非负实函数，用来描述模型预测和实际的标签之间的差异
损失函数有：0-1损失函数、平方损失函数、交叉熵损失函数、Hinge损失函数。其中0-1损失函数数学性质不好，导数为0且不连续。 平方损失函数用来预测，交叉熵损失函数用来分类，Hinge函数用来二分类。
经验风险：训练集上的平均损失 也即是所有验证集的损失和取平均。其函数表达式如下
Empirical–经验的。
经验风险最小化(Empirical Risk Minimization,ERM)准则 也就是找到一组参数，使得经验风险最小化。
未解决经验风险最小化过程中的过拟合问题，引入参数正则化来限制模型的能力。
限制模型能力,使其不要过度地最小化经验风险。这种准则就是结构风险最小化(Structure Risk Minimization,SRM)准则。
机器学习的训练过程其实就是最优化问题的求解过程。
验证数据集（validation dataset）是模型训练过程中留出的样本集，它可以用于调整模型的超参数和评估模型的能力。
但测试数据集（test dataset）不同，虽然同是模型训练过程中留出的样本集，但它是用于评估最终模型的性能，帮助对比多个最终模型并做出选择。https://cloud.tencent.com/developer/article/1119094
小批量随机梯度下降方法有收敛快,计算开销小的优点,因此逐渐成为大规模的机器学习中的主要优化算法。
线性回归(Linear Regression)是机器学习和统计学中最基础和广泛应用的模型,是一种对自变量和因变量之间关系进行建模的回归分析。自变量数量为 1 时称为简单回归,自变量数量大于 1 时称为多元回归。
⊕ 定义为两个向量的拼接操作
机器学习的简单示例：线性回归
- 规定一组样本，我们希望学习到最优的线性回归模型的参数 w w w，我们有四种参数估计的方法：经验风险最小化，结构风险最小化，最大似然估计，最大后验估计。
《神经网络与深度学习》 邱希鹏 学习笔记（一）相关推荐
- 《神经网络与深度学习》邱希鹏 学习笔记 (1)
<神经网络与深度学习>邱希鹏 学习笔记 (1) 完成进度 第一章 绪论 深度学习与神经网络 人工智能 图灵测试 达特茅斯 *(Dartmouth)* 会议 人工智能的研究领域 人工智能发展 ...
- 《神经网络与深度学习》邱希鹏 学习笔记(3)
<神经网络与深度学习>邱希鹏 学习笔记(3) 完成进度 第二章 机器学习概述 线性回归 参数学习 偏差-方差分解 自我理解 概率 似然 先验 后验 参考文献 完成进度 - 第二章 (1) ...
- 《神经网络与深度学习》邱希鹏 学习笔记（4）
<神经网络与深度学习>邱希鹏 学习笔记(4) 完成进度 第二章 机器学习概述 机器学习算法的类型 数据的特征表示 传统的特征学习 特征选择 特征抽取 深度学习方法 评价指标 理论和定理 P ...
- 《神经网络与深度学习》 邱希鹏 学习笔记（二）
正则化 所有损害优化的方法都是正则化.增加优化约束,干扰优化过程 优化约束包括 L1/L2约束,数据增强 干扰优化包括 随机梯度下降 权重衰减 提前停止 在上式中 y ( n ) 为样本 n ,其展开 ...
- 【邱希鹏】nndl-chap2-linear_regression
线性回归 问题描述 有一个函数 ,使得.现 在不知道函数 \(f(\cdot)\)的具体形式,给定满足函数关系的一组训练样本 ,请使用线性回归模型拟合出函数 \(y=f(x)\). (可尝试一种或几种 ...
- 神经网络与深度学习-课后习题
<神经网络与深度学习-邱锡鹏>习题解答 https://github.com/nndl/solutions 面试锦囊之LR 面试篇--线性回归怎么问? 面试篇--SVM怎么问 面试篇--决 ...
- 神经网络与深度学习复习大纲
第一章(问答题) 1.神经网络是什么?深度学习是什么? 神经网络:一种以(人工))神经元为基本单元的模型 深度学习:一类机器学习问题,主要解决贡献度分配问题 2.常用的深度学习框架是什么? Paddl ...
- 神经网络与深度学习理论,tensorflow2.0教程,cnn
*免责声明: 1\此方法仅提供参考 2\搬了其他博主的操作方法,以贴上路径. 3* 场景一:神经网络与深度学习理论 场景二:tensorflow的安装 场景三:numpy包介绍 场景四:机器学习基础 ...
- 复旦邱锡鹏教授公布《神经网络与深度学习》，中文免费下载 | 极客头条
点击上方↑↑↑蓝字关注我们~ 「2019 Python开发者日」,购票请扫码咨询 ↑↑↑ 整理 | Jane 出品 | AI科技大本营 优质的人工智能学习资源一直是大家非常关注的,以往我们也推荐过很多 ...
最新文章
- io python 读取pdf_实用又好用，6 款 Python 特殊文本格式处理库推荐
- DL之DNN优化技术：采用三种激活函数(sigmoid、relu、tanh)构建5层神经网络，权重初始值(He参数初始化和Xavier参数初始化)影响隐藏层的激活值分布的直方图可视化
- python使用循环结构计算10_十二、 python中的循环结构
- influxdb tsm文件_Influxdb中的Compaction操作
- Open vSwitch实验常用命令
- 信息学奥赛一本通 1985：【19CSPJ普及组】加工零件 | 洛谷 P5663 [CSP-J2019] 加工零件
- ios多线程之NSThread头文件详解
- 从入门到入土：Python爬虫学习|实例练手|爬取猫眼榜单|Xpath定位标签爬取|代码
- 运动目标检测跟踪各过程算法综述
- 精通JavaScript--06设计模式：结构型
- 字体出现闪烁效果html,CSS3实现文字闪烁效果的多种形式代码
- wav格式怎么转换成mp3格式
- P3324 [SDOI2015]星际战争二分答案+网络流
- centos桌面版配置ip_CentOS7安装GNOME可视化界面和如何配置IP地址
- Android 巧用 flexboxLayout 布局
- 人工神经网络课后题答案,人工神经网络原理答案
- js的数据类型和强制类型转换
- quartus II使用
- tl494组成的超声波发射电路_由TL494构成的恒流闭环控制电路的设计与实现 - 全文...
- python变量无需创建赋值_阿博的Python之路-变量