7-1 什么是PCA

7-2 使用梯度上升法求解PCA问题

7-3 求数据的主成分PCA

demean

梯度上升法

使用极端数据集测试

7-1 什么是PCA

降维后

同理去掉特征一，降维则为

那个方案更好呢，右边的，在x轴上点集间距离大，有更好的区分度

将点映射到这条斜线上，数据点变为，其整体与原来变化不大，从二维降到了一维，这时无论是映射到xy上间距大好

方差样本的疏密

所有的样本减去整体样本的均值

dmean后式子化简为这样

X是向量，demean后为零

w是单位方向向量

主成分分析法有很强的数学原理

横纵坐标是两个特征，与线垂直，不同于线性回归，

横特征纵是标记，与坐标垂直

7-2 使用梯度上升法求解PCA问题

X是非监督学习提供的样本，没有标记y

整理式子，不用for循环，通过向量的运算计算

1Xm, mXn == 1Xn 需要nx1的梯度，将上式转置相清楚谁是矩阵谁是向量，如果是矩阵是多少乘多少的

7-3 求数据的主成分PCA

demean

梯度上升法

def f(w, X):return np.sum((X.dot(w)**2)) / len(X)def df_math(w, X):return X.T.dot(X.dot(w)) * 2. / len(X)def df_debug(w, X, epsilon=0.0001):res = np.empty(len(w))for i in range(len(w)):w_1 = w.copy()w_1[i] += epsilonw_2 = w.copy()w_2[i] -= epsilonres[i] = (f(w_1, X) - f(w_2, X)) / (2 * epsilon)return resdef direction(w):return w / np.linalg.norm(w)def gradient_ascent(df, X, initial_w, eta, n_iters = 1e4, epsilon=1e-8):w = direction(initial_w) cur_iter = 0while cur_iter < n_iters:gradient = df(w, X)last_w = ww = w + eta * gradientw = direction(w) # 注意1：每次求一个单位方向if(abs(f(w, X) - f(last_w, X)) < epsilon):breakcur_iter += 1return w

w单位化处理，

初始的搜索不能为零

使用极端数据集测试

第7章 PCA与梯度上升法学习笔记上相关推荐

第7章 PCA与梯度上升法
主成分分析法:主要作用是降维疑似右侧比较好? 第三种降维方式: 问题:????? 方差:描述样本整体分布的疏密的指标,方差越大,样本之间越稀疏:越小,越密集第一步: 总结: 问题:????怎样使其 ...
韩松老师模型压缩--三步剪枝法学习笔记
韩松老师模型压缩–三步剪枝法学习笔记 Learning both Weights and Connections for Efficient Neural Networks Abstract 神经网络 ...
贝叶斯方法学习笔记（二）
贝叶斯方法学习笔记(二) 原文来自于知乎<你一定从未看过如此通俗易懂的马尔科夫链蒙特卡洛方法解读>.在这里只是将文章主要的核心知识点进行提炼汇总. 链接:你一定从未看过如此通俗易懂的马尔科 ...
贝叶斯方法学习笔记（一）
贝叶斯方法学习笔记(一) 一.基本概念二.实例(史蒂文的身份): 三.基本的概率分布及其性质四.实例(用短信数据推断行为): 数据集来源一.基本概念先验概率:我们把对一个事件A发生的信念记作P ...
计算机组成原理 | 第八章《计算机的外围设备》、第九章《输入/输出系统》学习笔记
计算机组成原理 | 第八章<计算机的外围设备>.第九章<输入/输出系统> 学习笔记引言 & 声明第一章计算机系统概论第二章计算机中数据的表示方法第三章运算 ...
PCA(主成分分析-principal components analysis)学习笔记以及源代码实战讲解
PCA(主成分分析-principal components analysis)学习笔记以及源代码实战讲解文章目录 PCA(主成分分析-principal components analysis)学 ...
拉格朗日乘子法学习笔记
本来是想写支持向量机的学习笔记的然后觉得内容太多了越写越不想写于是咕掉了. 把写好的拉格朗日乘子法发上来吧QwQ 拉格朗日乘子法 wiki链接拉格朗日乘子法用来求解带多个等式约束的情况下的多元函数极 ...
pytorch梯度下降函数_Pytorch学习笔记6：激活函数/单层感知机/梯度下降求最小值实例...
#添加到学习笔记2末尾,直接运行.代码意义可以看注释. #需要import以下库 import torch import numpy as np from matplotlib import pypl ...
拉格朗日乘数法学习笔记
对于一个多元函数\(f(x_1,x_2,x_3,..,x_n)\),如果它必须满足某一些限制\(g_i(x_1,x_2,x_3,...,x_n)=0\),我们可以使用拉格朗日乘数法来求它的最值首先你 ...
软件工程第一章绪论————（2019.12.27学习笔记）
第一章绪论第一节软件工程概念的提出与发展 1. 软件危机 1968年,北大西洋公约组织(NATO)在联邦德国的国际学术会议创造软件危机(Software crisis)一词.用来描述因为软件生产率, ...

第7章 PCA与梯度上升法学习笔记上

7-1 什么是PCA

7-2 使用梯度上升法求解PCA问题

7-3 求数据的主成分PCA

demean

梯度上升法

使用极端数据集测试

第7章 PCA与梯度上升法学习笔记上相关推荐

最新文章

热门文章

第7章 PCA与梯度上升法 学习笔记上

7-1 什么是PCA

7-2 使用梯度上升法求解PCA问题

7-3 求数据的主成分PCA

demean

梯度上升法

使用极端数据集测试

第7章 PCA与梯度上升法 学习笔记上相关推荐

最新文章

热门文章

第7章 PCA与梯度上升法学习笔记上

第7章 PCA与梯度上升法学习笔记上相关推荐