机器学习算法与传统优化算法与智能优化算法

传统优化算法一般是针对结构化的问题，有较为明确的问题和条件描述，如线性规划，二次规划，整数规划，混合规划，带约束和不带约束条件等，即有清晰的结构信息；而智能优化算法一般针对的是较为普适的问题描述，普遍比较缺乏结构信息。2.
传统优化算法不少都属于凸优化范畴，有唯一明确的全局最优点；而智能优化算法针对的绝大多数是多极值问题，如何防止陷入局部最优而尽可能找到全局最优是采纳智能优化算法的根本原因：对于单极值问题，传统算法大部分时候已足够好，而智能算法没有任何优势；对多极值问题，智能优化算法通过其有效设计可以在跳出局部最优和收敛到一个点之间有个较好的平衡，从而实现找到全局最优点，但有的时候局部最优也是可接受的，所以传统算法也有很大应用空间和针对特殊结构的改进可能。3.
传统优化算法一般是确定性算法，有固定的结构和参数，计算复杂度和收敛性可做理论分析；智能优化算法大多属于启发性算法，能定性分析却难定量证明，且大多数算法基于随机特性，其收敛性一般是概率意义上的，实际性能不可控，往往收敛速度也比较慢，计算复杂度较高。
如果有确定的问题结构描述和对应的传统算法（有理论证明可保证其可靠性），谁会去选计算又复杂结果又不可控的智能算法呢？只有在传统算法很难得到一个可接受的最优解（实际问题中许多时候并不要求全局最优，智能算法也并不保证100%找到全局最优）的时候，智能算法作为一个可选项。
而机器学习深度学习是“没有办法的办法”，SVM和神经网络并不是“优化”算法，这俩一般是用做分类问题或回归——倒是如何训练神经网络是个优化问题，传统BP算法并不能保证全局最优（但并不妨碍其使用，因为大多数时候也能得到一个可接受的解），许多许多年前就有人提出用智能算法来训练神经网络的参数。
机器学习算法的本质：
在求解一个问题（输入X，输出什么？）时，不清楚问题的模型是什么，不知道各个变量之间符合什么规则（式子），所以干脆把现成的各种万能模型（线性回归、逻辑回归、SVM、神经网络等等）套用进去，希望这些万能的模型可以拟合实际问题的模型。
　　但是这些万能模型里面具体的参数是未定的，需要使用大量数据进行学习。等参数确定之后，我们的拟合模型才完全确定。参数的学习相当于损失函数最小化这么一个优化问题。
　　但是就算把模型的参数求出来，就算拟合模型确定了，也不代表这个模型能准确描述我们待解决的问题。因为用来学习参数的大量数据，不能完全反应待解决问题的解的分布，而且数据采集过程中也会混入噪声，所以这些数据并不完全可信。
　　所以参数的学习不能一味地依赖训练数据的拟合，还要根据“奥卡姆剃刀定理”减小模型的复杂度。模型复杂度在一定程度上也是可以用一个式子模拟表达的，因此可以把复杂度放入损失函数中。
　　因此得出结论，机器学习的本质就是，带有训练集拟合精度和模型复杂度的损失函数的最小化问题，可以使用各种优化算法来求解，不过因为机器学习某些模型的独特性，有些模型参数的求解也有独特的算法，例如EM算法等。

优化算法的本质：
在求解一个问题（输入X，输出什么？）时，问题的模型是早就知道的，模型内部的结构、参数、参数之间的关系都是知道的，因此可以将问题模型用数学式子表达出来，一般都可以归纳为一个最小化问题或最大化问题，目标是求出最优解。
　　求解优化问题一般有：

最速下降法
牛顿法
拟牛顿法
共轭梯度法
启发式优化法（GA/ACO/PSO等）
拉格朗日乘数法。解决带约束的优化问题。
启发式优化算法与机器学习的联系
其实启发式优化算法与机器学习算法很相似。
　　在求解一个问题（输入X，输出什么？）时，它们都不要求知道问题的模型，只需要套用一些万能的模型就可以了，启发式优化算法就是套用GA、ACO、PSO等模型，机器学习算法则是套用线性回归、逻辑回归、SVM、神经网络等模型。
　　但是启发式优化算法套用的模型里的参数是使用者自己调整的，例如交叉概率、变异概率等等，而且这些模型加入了很多的随机性，每次求解的结果可能不能复现。而机器学习算法套用的模型里的参数是用训练集学习得出的，例如线性回归系数、SVM分类超平面系数、神经网络权重等等。

让我们考虑两种极端的数据类型：表格数据，其中所有变量都是实特征或离散特征，每个特征都有意义（例如，年龄、种族、性别、过去中风次数、充血性心力衰竭），以及“原始”数据，如图像、声音文件或文本，其中每个像素、位或文字本身都没有用处。这些类型的数据在机器学习性能和可解释性方面具有不同的属性。对于表格数据，大多数机器学习算法在预测精度方面表现相似。这意味着，假设一个人愿意进行较小的预处理，例如创建虚拟变量（例如，见Christodoulou等人，2019），即使是逻辑回归，也往往很难超越逻辑回归。在这些领域，神经网络通常没有优势。很长一段时间以来，众所周知，非常简单的模型对表格数据表现得出奇好（Holte，1993）。Leo Breiman（Breiman等人，2001）讨论的拉肖曼效应可能导致简单模型对表格数据表现良好。

机器学习算法与传统优化算法与智能优化算法相关推荐

关键词优化系统｜智能优化「白狐公羊seo」
1.SEO的设置 .要进行SEO网站优化的前提,先设置TDK,三个重要的参数:title.keywords.description.因为TDK是一个网站优化的核心要素和重要标志.后期的优化都是围绕着T ...
数学建模常用算法：启发式优化算法合辑（内含多种智能优化算法，使用java实现算法、详细注释、并进行结果可视化）
一.启发式算法介绍启发式算法(heuristic algorithm)是相对于最优化算法提出的.一个问题的最优算法求得该问题每个实例的最优解.启发式算法可以这样定义:一个基于直观或经验构造的算法 ...
麻雀优化算法_多种智能优化算法应用案例分享-附代码
1.智能优化算法应用:基于灰狼算法的Otsu图像多阈值分割智能优化算法应用:基于灰狼算法的Otsu图像多阈值分割-附代码_Jack旭的博客-CSDN博客blog.csdn.net 2.智能优化算法 ...
智能优化算法——正余弦优化算法（SCA）及其改进策略
正余弦优化算法(SCA)及其改进策略一.基本介绍 1. 背景 2. 算法简介二.基本的SCA算法 1. 算法介绍 2. 算法步骤三.算法分析 1. 正余弦分布 2. 算法实验结果 3. 算法优缺 ...
【智能优化算法-黑猩猩算法】基于增强型黑猩猩优化器算法求解单目标优化问题附matlab代码
1 内容介绍 This article proposes a novel metaheuristic algorithm called Chimp Optimization Algorithm (Ch ...
为什么只有状态转移算法才是真正意义上的智能优化算法，其它的都是“假冒伪劣”？
0 旁白长期以来,"论文为王"的观念被推崇至上,没有论文就没有发言权,发表了大量学术论文才能高谈阔论.坐而论道,以至于出现"大家都忙着写论文,没有时间搞科研" ...
智能优化算法：爬行动物搜索算法-附代码
智能优化算法:爬行动物搜索算法文章目录智能优化算法:爬行动物搜索算法 1.算法原理 1.1 初始化 1.2 包围阶段(探索) 1.3 狩猎阶段(开发) 2.实验结果 3.参考文献 4.Matlab ...
智能优化算法：多目标粒子群优化算法（MOPSO）
目录一.粒子群优化算法(Particle Swarm Optimization,PSO) 二.多目标优化&Pareto支配三.多目标粒子群优化算法(Multiple Objective P ...
【智能优化算法之GOA优化】
蚱蜢优化算法(GOA) 一蚱蜢优化算法的概念蚱蜢是昆虫.由于它们对农作物生产和农业造成损害,因此被认为是有害生物.尽管蚱蜢在自然界中通常是单独出现的,但它们是所有生物中最大的群体之一.蜂群的规模 ...
智能优化算法-菲克定律算法Fick‘s Law Algorithm(附Matlab代码)
引言菲克定律算法Fick's Law Algorithm是一种新的基于物理的元启发式算法,称为菲克定律优化(FLA),其中利用了菲克第一扩散规则.于2022年发表在SCI 一区Knowledge-B ...

机器学习算法与传统优化算法与智能优化算法

机器学习算法与传统优化算法与智能优化算法相关推荐

最新文章

热门文章