题主本科课程作业涉及西瓜书课后题，本篇主要包括第5-8章除编程题以外的课后题，订正后整理如下：（如有不完善处，欢迎评论讨论）

5.1、5.2、5.3、5.4；

6.1、6.4、6.5、6.6；

7.4、7.5、7.7、7.8；

8.1、8.2、8.6、8.7；

第5章：

要点：

5.1：试述将线性函数XXXXX用作神经元激活函数的缺陷。

#“退化”

（1）当使用线性函数作为激活函数时，无论是在隐藏层还是在输出层，其单元值都还是输入的线性

组合。

（2）若隐层用线性函数作为激活函数，输出层用线性函数，等价于线性回归 。

（3）若隐层用线性函数作为激活函数，输出层用 Sigmoid函数，等价于逻辑回归Logistics。

5.2：试述使用图 5.2(b) 激活函数的神经元与对率回归的联系。

（1）使用Sigmoid激活函数，每个神经元几乎和对率回归相同。
（2）但是输出不同。对率回归在Sigmoid(x)>0.5时输出为1，而神经元直接输出Sigmoid(x)。
（3）特别地，使用sigmoid激活函数的单层神经网络在做二分类时等价于对率回归。  
5.3：对于图 5.7 中的vih ，试推导出 BP 算法中的更新公式 (5.13)。
"""图5.7的符号表示及涉及的公式需要自己多画两遍弄清楚，还有sigmoid函数求导性质；仿照课本
另一个公式的推导进行，涉及链式求导法则。"""
5.4:试述式 (5.6) 中学习率的取值对神经网络训练的影响。
（1）学习率控制着每一轮迭代的更新步长。

（2）学习率太高，会导致误差函数来回震荡，无法收敛；

（3）学习率太低，会导致收敛太慢，影响训练效率。

第6章：

6.1：试证明样本空间中任意点 x 到超平面（w, b）的的距离为式 (6.2)。

6.4：试讨论线性判别分析LDA与线性核支持向量机在何种条件下等价

答：当线性核支持向量机超平面与LDA投影方向垂直时二者等价

6.5：试述高斯核SVM与RBF神经网络之间的联系。

答：

（1）在联系上：RBF网络的径向基函数与SVM都采用高斯核，就分别得到了高斯核RBF网络与高
斯核SVM。
（2）在误差和惩罚项区别方面，神经网络是最小化累计误差，将参数 w 作为惩罚项；而SVM相
反，主要是最小化参数，将误差作为惩罚项。
（3）在高斯核的应用区别方面，高斯核SVM将高斯函数仅作为计算高维空间内积的假想函数,即实
际上数据并非是被映射到函数的输出; 而RBF神经网络则是真的用RBF函数将输入映射一个已知的
空间。

6.6：试析SVM对噪声敏感的原因。

（1）前提：SVM的基本形态是硬间隔分类器，它要求所有样本都满足硬间隔约束。
（2）第一种情况：当数据集中存在噪声点但是仍然满足线性可分的条件时，SVM为了把噪声点也划分正确，超平面就会向另外一个类的样本靠拢，这就使得划分超平面的几何间距变小，从而降低了模型的泛化性能。
参考图：
（3）第二种情况：当数据集因为存在噪声点而导致已经无法线性可分时，就会使用核技巧，将样本映射到高维特征空间使得样本线性可分，得到一个复杂模型，容易出现过拟合情况，泛化能力差。
（4）结论：所以SVM对于噪声很敏感，因此后文提出了软间隔SVM来防止噪声的存在容易导致的过拟合问题。

第7章：

第8章：

8.1：#说白了就是类比，得到p和两个关系，后面就好做了。

 8.2：#说白了就是把期望函数写出来再分析，得到sign(H(x))，证得一致替代函数。

西瓜书第五章第六章第七章第八章(5-8章)编程题以外课后题答案整理（自用复习）相关推荐

  1. 5类6类7类网线对比_五类，六类，七类网线都有什么区别

    展开全部 双绞线按电气性能划分的话,通常分为:三类.636f707962616964757a686964616f31333365643662四类.五类.超五类.六类.七类双绞线等类型,原则上数字越大, ...

  2. 机器学习入门-西瓜书总结笔记第十六章

    西瓜书第十六章-强化学习 一.任务与奖赏 二.K-摇臂赌博机 1.探索与利用 2. ϵ \epsilon ϵ-贪心 3.Softmax 三.有模型学习 1.策略评估 2.策略改进 3.策略迭代与值迭代 ...

  3. 西瓜书.第五章（神经网络）重点最全整理+课后习题

    (神经网络知识很多且复杂,此篇是周志华老师的西瓜书对神经网络的解释,仔细学习后我对神经网络部分有了更深刻的认识,在此处致谢周老师,我也在持续学习中,之后在其他资料或文献中总结的概念也会更新在此处) 五 ...

  4. 西瓜书第五章笔记及答案——神经网络

    目录 第5章 神经网络 5.1 神经元模型 5.2感知机和多层网络 5.3误差逆传播算法 5.4全局最小和局部极小 5.5其他常见神经网络 5.5.1RBF网络 5.5.2ART网络 5.5.3SOM ...

  5. elman神经网络_西瓜书第五章——神经网络

    5.1 神经元模型 定义:神经网络是具有适应性的简单单元组成的广泛并行互联的网络,他的组织能够模拟生物神经系统对真实世界所做出的交互反应 5.2 感知机与多层网络 *感知机由两层神经元组成 感知机只能 ...

  6. 统计学习方法-第二章课后习题答案整理

    2.1Minsky和Papert指出: 感知机因为是线性模型, 所以不能表示复杂的函数,如异或. 验证感知机为什么不能表示异或 参考链接: https://blog.csdn.net/yangfeis ...

  7. 《Python语言程序设计》王恺 王志 机械工业出版社 第七章 I/O编程与异常 课后习题答案

    7.7 课后习题 (1)利用 os 模块查看当前系统的名字,应当使用 os.name . (2)利用 os 模块获取当前系统平台路径的分隔符,应当使用 os.sep . (3) 利用 os 模块获取当 ...

  8. 《Python语言程序设计》王恺 王志 李涛 机械工业出版社第7章 I/O编程与异常 课后习题答案【强烈推荐】

    点个

  9. 西瓜书学习记录-模型评估与选择（第二章）

    西瓜书学习记录-模型评估与选择 第二章啦 整个过程可以描述为在训练集上去训练,在验证集上去调参,调完参之后再到训练集上去训练,直到结果满意,最后到测试集上去测试. 例子(反例): 上图选择蓝色的线,坏 ...

最新文章

  1. Linux全攻略--MySQL数据库配置与管理
  2. oracle服务端用sql查看连接到数据库的IP
  3. 讲讲我和Spring创始级程序员共同review代码的故事
  4. 「后端小伙伴来学前端了」记录自己的踩坑第一天 | CSS:vertical-align 属性
  5. c语言位操作大小写转换,C语言实现大小写转换的三种方法
  6. ASP.NET Core 3.0 使用gRPC
  7. Vue.js 极简小例： 点击事件
  8. 什么是数字孪生？有哪些关键技术？现在怎么样了？
  9. 百兆以太网口通信速率_以太网 数据包速率计算方法
  10. python字符宽度_Python计算字符宽度的方法
  11. es文件浏览器访问win10局域网共享文件能看见共享文件夹但是点击文件夹无反应
  12. 金融创新推动资产管理公司发展
  13. 如何将epub电子书格式转换成txt文本
  14. nginx的平滑升级
  15. c# 判断路径是否存在
  16. 免费的21个UI界面设计工具、资源及网站
  17. net.sf.ezmorph.bean.MorphDynaBean cannot be cast to
  18. android使用ffmpeg生成有声图片，多张图片添加音频文件合成mp4文件
  19. Lawliet|Python学习笔记1——基础
  20. Win10如何重置ClearType设置，使其恢复系统默认值？

热门文章

  1. 物联网卡平台提供哪些服务
  2. 【maxscript】批量导入文件夹下obj
  3. 反掩码有什么作用？通配符掩码有什么作用？
  4. 浅谈数据挖掘——频繁模式、序列挖掘与搜索优化算法
  5. python动态粒子素材,太魔性了，用 Python 实现火爆全网的「蚂蚁呀嘿」视频特效！...
  6. 指定目标的SMART原则
  7. 微信开发学习日记（七）：开源微商城wemall
  8. 青铜三人行之验证栈序列
  9. Exam - Linux程序设计
  10. Linux指导:vi使用手册