机器学习算法--python--sklearn--后续神经网络

机器学习算法

1 概念

机器学习算法分类：监督学习、无监督学习、强化学习

基本的机器学习算法：线性回归、支持向量机(SVM)、最近邻居(KNN)、逻辑回归、决策树、k平均、随机森林、朴素贝叶斯、降维、梯度增强

公式、图示、案例

1.1 分类

机器学习算法大致可以分为三类：

监督学习算法 (Supervised Algorithms）:在监督学习训练过程中，可以由训练数据集学到或建立一个模式（函数 / learning model），并依此模式推测新的实例。该算法要求特定的输入/输出，首先需要决定使用哪种数据作为范例。例如，文字识别应用中一个手写的字符，或一行手写文字。主要算法包括神经网络、支持向量机、最近邻居法、朴素贝叶斯法、决策树等。

无监督学习算法 (Unsupervised Algorithms):这类算法没有特定的目标输出，算法将数据集分为不同的组。

强化学习算法 (Reinforcement Algorithms):强化学习普适性强，主要基于决策进行训练，算法根据输出结果（决策）的成功或错误来训练自己，通过大量经验训练优化后的算法将能够给出较好的预测。类似有机体在环境给予的奖励或惩罚的刺激下，逐步形成对刺激的预期，产生能获得最大利益的习惯性行为。在运筹学和控制论的语境下，强化学习被称作“近似动态规划”（approximate dynamic programming，ADP）。

1.2 基本的机器学习算法：

线性回归算法 Linear Regression；支持向量机算法 (Support Vector Machine,SVM)；最近邻居/k-近邻算法 (K-Nearest Neighbors,KNN)；逻辑回归算法 Logistic Regression；决策树算法 Decision Tree；k-平均算法 K-Means；随机森林算法 Random Forest；朴素贝叶斯算法 Naive Bayes；降维算法 Dimensional Reduction；梯度增强算法 Gradient Boosting

2 基本的机器学习算法

2.1 线性回归算法 Linear Regression

回归分析（Regression Analysis）是统计学的数据分析方法，目的在于了解两个或多个变量间是否相关、相关方向与强度，并建立数学模型以便观察特定变量来预测其它变量的变化情况。

线性回归算法（Linear Regression）的建模过程就是使用数据点来寻找最佳拟合线。公式，y = mx + c，其中 y 是因变量，x 是自变量，利用给定的数据集求 m 和 c 的值。
线性回归又分为两种类型，即简单线性回归（simple linear regression)，只有 1 个自变量；*多变量回归（multiple regression)，至少两组以上自变量。

2.2 支持向量机算法 (Support Vector Machine,SVM)----------sklearn

支持向量机/网络算法(SVM)属于分类型算法。SVM模型将实例表示为空间中的点，将使用一条直线分隔数据点。需要注意的是，支持向量机需要对输入数据进行完全标记，仅直接适用于两类任务，应用将多类任务需要减少到几个二元问题。经典的SVM只给出了二类分类的算法，现实中数据可能需要解决多类的分类问题。因此可以多次运行SVM，产生多个超平面，如需要分类1-10种产品，首先找到1和2-10的超平面，再寻找2和1,3-10的超平面，以此类推，最后需要测试数据时，按照相应的距离或者分布判定。

#线性
from sklearn import svm
import numpy as np
import matplotlib.pyplot as plt  np.random.seed(0)
x = np.r_[np.random.randn(20,2)-[2,2],np.random.randn(20,2)+[2,2]] #正态分布来产生数字,20行2列*2
y = [0]*20+[1]*20 #20个class0，20个class1  clf = svm.SVC(kernel='linear')
clf.fit(x,y)  w = clf.coef_[0] #获取w
a = -w[0]/w[1] #斜率
#画图划线
xx = np.linspace(-5,5) #(-5,5)之间x的值
yy = a*xx-(clf.intercept_[0])/w[1] #xx带入y，截距  #画出与点相切的线
b = clf.support_vectors_[0]
yy_down = a*xx+(b[1]-a*b[0])
b = clf.support_vectors_[-1]
yy_up = a*xx+(b[1]-a*b[0])  print("W:",w)
print("a:",a)  print("support_vectors_:",clf.support_vectors_)
print("clf.coef_:",clf.coef_)  plt.figure(figsize=(8,4))
plt.plot(xx,yy)
plt.plot(xx,yy_down)
plt.plot(xx,yy_up)
plt.scatter(clf.support_vectors_[:,0],clf.support_vectors_[:,1],s=80)
plt.scatter(x[:,0],x[:,1],c=y,cmap=plt.cm.Paired) #[:，0]列切片，第0列  plt.axis('tight')  plt.show()

W: [0.90230696 0.64821811]
a: -1.3919804762557653
support_vectors_: [[-1.02126202  0.2408932 ][-0.46722079 -0.53064123][ 0.95144703  0.57998206]]
clf.coef_: [[0.90230696 0.64821811]]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HFnVmrS2-1651486207999)(MLA_files/MLA_5_1.png)]

2.3 最近邻居/k-近邻算法 (K-Nearest Neighbors,KNN)----------sklearn

KNN算法是一种基于实例的学习，或者是局部近似和将所有计算推迟到分类之后的惰性学习。用最近的邻居（k）来预测未知数据点。k 值是预测精度的一个关键因素，无论是分类还是回归，衡量邻居的权重都非常有用，较近邻居的权重比较远邻居的权重大。

KNN 算法的缺点是对数据的局部结构非常敏感。计算量大，需要对数据进行规范化处理，使每个数据点都在相同的范围。

延伸：KNN 的一个缺点是依赖于整个训练数据集，学习向量量化（Learning Vector Quantization，LVQ)是一种监督学习的人神经网络算法，允许你选择训练实例。LVQ 由数据驱动，搜索距离它最近的两个神经元，对于同类神经元采取拉拢，异类神经元采取排斥，最终得到数据的分布模式。如果基于 KNN 可以获得较好的数据集分类效果，利用 LVQ 可以减少存储训练数据集存储规模。典型的学习矢量量化算法有LVQ1、LVQ2和LVQ3，尤以LVQ2的应用最为广泛。

下面将经过编码来了解KNN算法：

https://blog.csdn.net/weixin_39881922/article/details/80419270?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165147734516782184669562%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=165147734516782184669562&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_allfirst_rank_ecpm_v1~hot_rank-5-80419270.142^v9pc_search_result_cache,157^v4control&utm_term=KNN+sklearn&spm=1018.2226.3001.4187

2.4 逻辑回归算法 Logistic Regression----------sklearn

逻辑回归算法（Logistic Regression）一般用于需要明确输出的场景，如某些事件的发生（预测是否会发生降雨）。通常，逻辑回归使用某种函数将概率值压缩到某一特定范围。
例如，Sigmoid 函数（S 函数）是一种具有 S 形曲线、用于二元分类的函数。它将发生某事件的概率值转换为 0, 1 的范围表示。

Y = E ^（b0＋b1 x）/（1 + E ^（b0＋b1 x ））
以上是一个简单的逻辑回归方程，B0，B1是常数。这些常数值将被计算获得，以确保预测值和实际值之间的误差最小。

https://blog.csdn.net/cymy001/article/details/78556968?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165147946916780357236149%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=165147946916780357236149&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_allfirst_rank_ecpm_v1~hot_rank-14-78556968.142^v9pc_search_result_cache,157^v4control&utm_term=sklearn+LR&spm=1018.2226.3001.4187

2.5 决策树算法 Decision Tree----------sklearn

决策树（Decision tree）是一种特殊的树结构，由一个决策图和可能的结果（例如成本和风险）组成，用来辅助决策。机器学习中，决策树是一个预测模型，树中每个节点表示某个对象，而每个分叉路径则代表某个可能的属性值，而每个叶节点则对应从根节点到该叶节点所经历的路径所表示的对象的值。决策树仅有单一输出，通常该算法用于解决分类问题。

一个决策树包含三种类型的节点：

决策节点：通常用矩形框来表示

机会节点：通常用圆圈来表示

终结点：通常用三角形来表示

简单决策树算法案例，确定人群中谁喜欢使用信用卡。考虑人群的年龄和婚姻状况，如果年龄在30岁或是已婚，人们更倾向于选择信用卡，反之则更少。

通过确定合适的属性来定义更多的类别，可以进一步扩展此决策树。在这个例子中，如果一个人结婚了，他超过30岁，他们更有可能拥有信用卡（100% 偏好）。测试数据用于生成决策树。

注意：对于那些各类别样本数量不一致的数据，在决策树当中信息增益的结果偏向于那些具有更多数值的特征。

https://blog.csdn.net/wangxingfan316/article/details/82115452?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165147984516782248522785%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=165147984516782248522785&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_allfirst_rank_ecpm_v1~hot_rank-1-82115452.142^v9pc_search_result_cache,157^v4control&utm_term=sklearn+%E5%86%B3%E7%AD%96%E6%A0%91&spm=1018.2226.3001.4187

2.6 k-平均算法 K-Means----------sklearn

k-平均算法(K-Means)是一种无监督学习算法，为聚类问题提供了一种解决方案。
K-Means 算法把 n 个点（可以是样本的一次观察或一个实例）划分到 k 个集群（cluster），使得每个点都属于离他最近的均值（即聚类中心，centroid）对应的集群。重复上述过程一直持续到重心不改变。

https://blog.csdn.net/EleanorWiser/article/details/70226704?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165147997016782388056432%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=165147997016782388056432&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_allfirst_rank_ecpm_v1~hot_rank-3-70226704.142^v9pc_search_result_cache,157^v4control&utm_term=sklearn+k-means&spm=1018.2226.3001.4187

https://blog.csdn.net/lynn_001/article/details/86679270?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165147997016782388056432%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=165147997016782388056432&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_allfirst_rank_ecpm_v1~hot_rank-5-86679270.142^v9pc_search_result_cache,157^v4control&utm_term=sklearn+k-means&spm=1018.2226.3001.4187

2.7 随机森林算法 Random Forest----------sklearn

随机森林算法（Random Forest）的名称由 1995 年由贝尔实验室提出的random decision forests 而来，正如它的名字所说的那样，随机森林可以看作一个决策树的集合。
随机森林中每棵决策树估计一个分类，这个过程称为“投票（vote）”。理想情况下，我们根据每棵决策树的每个投票，选择最多投票的分类。

https://blog.csdn.net/qq_34106574/article/details/82016442?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165148015216781483741390%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=165148015216781483741390&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_allfirst_rank_ecpm_v1~hot_rank-18-82016442.142^v9pc_search_result_cache,157^v4control&utm_term=sklearn+%E9%9A%8F%E6%9C%BA%E6%A3%AE%E6%9E%97&spm=1018.2226.3001.4187

https://blog.csdn.net/qq_29750461/article/details/81516008?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165148015216781483741390%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=165148015216781483741390&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_allfirst_rank_ecpm_v1~hot_rank-4-81516008.142^v9pc_search_result_cache,157^v4control&utm_term=sklearn+%E9%9A%8F%E6%9C%BA%E6%A3%AE%E6%9E%97&spm=1018.2226.3001.4187

2.8 朴素贝叶斯算法 Naive Bayes----------sklearn

朴素贝叶斯算法（Naive Bayes）基于概率论的贝叶斯定理，应用非常广泛，从文本分类、垃圾邮件过滤器、医疗诊断等等。朴素贝叶斯适用于特征之间的相互独立的场景，例如利用花瓣的长度和宽度来预测花的类型。“朴素”的内涵可以理解为特征和特征之间独立性强。

与朴素贝叶斯算法密切相关的一个概念是最大似然估计(Maximum likelihood estimation)，历史上大部分的最大似然估计理论也都是在贝叶斯统计中得到大发展。例如，建立人口身高模型，很难有人力与物力去统计全国每个人的身高，但是可以通过采样，获取部分人的身高，然后通过最大似然估计来获取分布的均值与方差。

https://blog.csdn.net/luanpeng825485697/article/details/78967139?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165148038316782184646422%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=165148038316782184646422&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_allfirst_rank_ecpm_v1~hot_rank-7-78967139.142^v9pc_search_result_cache,157^v4control&utm_term=sklearn+%E6%9C%B4%E7%B4%A0%E8%B4%9D%E5%8F%B6%E6%96%AF&spm=1018.2226.3001.4187

https://blog.csdn.net/kancy110/article/details/72763276?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165148038316782184646422%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=165148038316782184646422&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_allfirst_rank_ecpm_v1~hot_rank-2-72763276.142^v9pc_search_result_cache,157^v4control&utm_term=sklearn+%E6%9C%B4%E7%B4%A0%E8%B4%9D%E5%8F%B6%E6%96%AF&spm=1018.2226.3001.4187

2.9 降维算法 Dimensional Reduction----------sklearn

在机器学习和统计学领域，降维是指在限定条件下，降低随机变量个数，得到一组“不相关”主变量的过程，并可进一步细分为特征选择和特征提取两大方法。

一些数据集可能包含许多难以处理的变量。特别是资源丰富的情况下，系统中的数据将非常详细。在这种情况下，数据集可能包含数千个变量，其中大多数变量也可能是不必要的。在这种情况下，几乎不可能确定对我们的预测影响最大的变量。此时，我们需要使用降维算法，降维的过程中也可能需要用到其他算法，例如借用随机森林，决策树来识别最重要的变量。

https://blog.csdn.net/qq_30868737/article/details/112618519

2.10 梯度增强算法 Gradient Boosting

梯度增强算法（Gradient Boosting）使用多个弱算法来创建更强大的精确算法。它与使用单个估计量不同，而是使用多个估计量创建一个更稳定和更健壮的算法。梯度增强算法有几种：

XGBoost — 使用线性和树算法

LightGBM — 只使用基于树的算法
梯度增强算法的特点是精度较高。此外，LightGBM 算法具有令人难以置信的高性能。

https://blog.csdn.net/BF02jgtRS00XKtCx/article/details/116246443

https://itpcb.com/a/1362924

https://blog.csdn.net/fengdu78/article/details/115475480#:~:text=%E4%B8%89%E5%A4%A7Boosting%E7%AE%97%E6%B3%95%E5%AF%B9%E6%AF%94.%20%E9%A6%96%E5%85%88%EF%BC%8CXGBoost%E3%80%81LightGBM%E5%92%8CCatBoost%E9%83%BD%E6%98%AF%E7%9B%AE%E5%89%8D%E7%BB%8F%E5%85%B8%E7%9A%84SOTA%EF%BC%88state%20of%20the%20art%EF%BC%89Boosting%E7%AE%97%E6%B3%95%EF%BC%8C%E9%83%BD%E5%8F%AF%E4%BB%A5%E5%BD%92%E7%B1%BB%E5%88%B0%E6%A2%AF%E5%BA%A6%E6%8F%90%E5%8D%87%E5%86%B3%E7%AD%96%E6%A0%91%E7%AE%97%E6%B3%95%E7%B3%BB%E5%88%97%E3%80%82.,%E4%B8%89%E4%B8%AA%E6%A8%A1%E5%9E%8B%E9%83%BD%E6%98%AF%E4%BB%A5%E5%86%B3%E7%AD%96%E6%A0%91%E4%B8%BA%E6%94%AF%E6%92%91%E7%9A%84%E9%9B%86%E6%88%90%E5%AD%A6%E4%B9%A0%E6%A1%86%E6%9E%B6%EF%BC%8C%E5%85%B6%E4%B8%ADXGBoost%E6%98%AF%E5%AF%B9%E5%8E%9F%E5%A7%8B%E7%89%88%E6%9C%AC%E7%9A%84GBDT%E7%AE%97%E6%B3%95%E7%9A%84%E6%94%B9%E8%BF%9B%EF%BC%8C%E8%80%8CLightGBM%E5%92%8CCatBoost%E5%88%99%E6%98%AF%E5%9C%A8XGBoost%E5%9F%BA%E7%A1%80%E4%B8%8A%E5%81%9A%E4%BA%86%E8%BF%9B%E4%B8%80%E6%AD%A5%E7%9A%84%E4%BC%98%E5%8C%96%EF%BC%8C%E5%9C%A8%E7%B2%BE%E5%BA%A6%E5%92%8C%E9%80%9F%E5%BA%A6%E4%B8%8A%E9%83%BD%E6%9C%89%E5%90%84%E8%87%AA%E7%9A%84%E4%BC%98%E7%82%B9%E3%80%82.%20%E4%B8%89%E5%A4%A7%E6%A8%A1%E5%9E%8B%E7%9A%84%E5%8E%9F%E7%90%86%E7%BB%86%E8%8A%82%E6%88%91%E4%BB%AC%E6%9C%AC%E6%96%87%E4%B8%8D%E5%81%9A%E5%8F%99%E8%BF%B0%EF%BC%8C%E5%8F%AF%E5%8F%82%E8%80%83%20%E3%80%90%E5%8E%9F%E5%88%9B%E9%A6%96%E5%8F%91%E3%80%91%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E5%85%AC%E5%BC%8F%E6%8E%A8%E5%AF%BC%E4%B8%8E%E4%BB%A3%E7%A0%81%E5%AE%9E%E7%8E%B030%E8%AE%B2.pdf%20%E3%80%82.%20%E9%82%A3%E4%B9%88%E8%BF%99%E4%B8%89%E5%A4%A7Boosting%E7%AE%97%E6%B3%95%E5%8F%88%E6%9C%89%E5%93%AA%E4%BA%9B%E5%A4%A7%E7%9A%84%E6%96%B9%E9%9D%A2%E7%9A%84%E5%8C%BA%E5%88%AB%E5%91%A2%EF%BC%9F.

OVER
%E4%B9%88%E8%BF%99%E4%B8%89%E5%A4%A7Boosting%E7%AE%97%E6%B3%95%E5%8F%88%E6%9C%89%E5%93%AA%E4%BA%9B%E5%A4%A7%E7%9A%84%E6%96%B9%E9%9D%A2%E7%9A%84%E5%8C%BA%E5%88%AB%E5%91%A2%EF%BC%9F.

OVER

机器学习算法--python--sklearn--后续神经网络相关推荐

决策算法python_GitHub - nxety/MachineLearning_Python: 机器学习算法python实现
机器学习算法Python实现目录 1.代价函数其中: 下面就是要求出theta,使代价最小,即代表我们拟合出来的方程距离真实值最近共有m条数据,其中代表我们要拟合出来的方程到真实值距离的平方,平 ...
机器学习算法 | Python实现k-近邻算法
机器学习算法 | Python实现k-近邻算法目录机器学习算法 | Python实现k-近邻算法基本介绍工作原理程序设计参考资料基本介绍 KNN,全名k近邻算法.是⼀种⾮常简单有效的机器 ...
聚类分析 python_Kmeans聚类算法 python sklearn 用户画像
1.基本概念: 聚类分析简称聚类(clustering),是一个把数据集划分成子集的过程,每一个子集是一个簇(cluster),使得簇中的样本彼此相似,但与其他簇中的样本不相似. 聚类分析不需要事先知 ...
多元回归求解机器学习_金融领域里的机器学习算法介绍：人工神经网络
人工智能的发展在很大程度上是由神经网络.深度学习和强化学习推动的.这些复杂的算法可以解决高度复杂的机器学习任务,如图像分类.人脸识别.语音识别和自然语言处理等.这些复杂任务一般是非线性的,同时包含着大 ...
10种经典机器学习算法——Python版
klearn python API LinearRegression from sklearn.linear_model import LinearRegression # 线性回归 # module ...
机器学习算法汇总：人工神经网络、深度学习及其它
转载自:http://blog.csdn.net/icyzbb/article/details/37883461 学习方式根据数据类型的不同,对一个问题的建模有不同的方式.在机器学习或者人工智能领域 ...
【机器学习算法-python实现】决策树-Decision tree（1）信息熵划分数据集
1.背景决策书算法是一种逼近离散数值的分类算法,思路比较简单,而且准确率较高.国际权威的学术组织,数据挖掘国际会议ICDM (the IEEE International Conference o ...
python bp神经网络隐含层神经元数_【机器学习】python实现BP神经网络实战
概述: 人工神经网络是一种经典的机器学习模型,随着深度学习的发展神经网络模型日益完善.联想大家熟悉的回归问题, 神经网络模型实际上是根据训练样本创造出一个多维输入多维输出的函数, 并使用该函数进行预测 ...
【机器学习算法-python实现】采样算法的简单实现
1.背景采样算法是机器学习中比较常用,也比较容易实现的(出去分层采样).常用的采样算法有以下几种(来自百度知道): 一.单纯随机抽样(simple random sampling)将调查总体 ...
【机器学习算法-python实现】矩阵去噪以及归一化
1.背景项目需要,打算用python实现矩阵的去噪和归一化.用numpy这些数学库没有找到很理想的函数,所以一怒之下自己用标准库写了一个去噪和归一化的算法,效率有点低,不过还能用,大家如果有需 ...

机器学习算法--python--sklearn--后续神经网络

机器学习算法--python--sklearn--后续神经网络相关推荐

最新文章

热门文章