贝叶斯优化的初步理解

最优值是高方差和平均值是比较高的（前提是优化函数为最大值），如图所示：

黑色实线是平均值；虚线为目标函数真实值，黑点为已经抽样的点包括x与y；红色的点是新选择的x；

新选择的x是要考虑高方差与高预测值的，而不仅仅是高预测值；当时我不理解获得函数曲线为什么没有与实线同步（即只考虑预测值）

本质上有两个数学要点，一个是随机过程/高斯过程；二是贝叶斯概率；

高斯过程主要是针对每个超参数组的预测结果进行建模，每个超参数组的预测结果是一个随机变量（这里假设为高斯分布），是一个不确定性值，多个超参数组就对应多个随机变量，即随机过程/高斯过程；在初始状态时，不清楚均值与方差；在抽样几个点后，就会大致确定附近的参数点的高斯分布情况，点越多，就越逼近真实函数，如上图所示；这样的情况下，就可以在不用训练的情况下，就选定一个很大概率获得最优值的超参数组；大大节约了时间；

1、为什么贝叶斯优化有用呢？

如果没有操作，给你一个超参数组，你怎么能知道它大概的结果；或者给定一个超参数区间，如何知道最优值会在哪一点上；有了贝叶斯优化，就可以很好的进行判断；虽然不能很准确，但可以判断出个大概；

2、和平常的建模有什么区别呢？

平常的建模会是一种参数模型，一个x，对应一个确定性的值；但这里的思路完全不同，这里是为了对预测值的区间进行预估。给出一个大概的判断，是一种非参数模型；不用管真实函数是怎么样的，都可以用来作判断，可以说是包罗万象；

3、高斯过程另样的理解方式？

比如说存在一个高斯分布函数，你即将从里面抽样10次，那么很简单，每次抽样的结果都会是一个高斯分布，10个变量成为了多元高斯分布，这里的变量就是y的输出值，对多个y进行建模，建立高斯过程；如图所示；感觉就是承认不确定性

4、联合分布的公式是怎样的？

5、高斯过程有哪些参数？

均值与协方差；

贝叶斯优化的初步理解相关推荐

[机器学习]超参数优化---贝叶斯优化(Bayesian Optimization) 理解
背景很多算法工程师戏谑自己是调参工程师,因为他们需要在繁杂的算法参数中找到最优的组合,往往在调参的过程中痛苦而漫长的度过一天.如果有一种方式可以帮助工程师找到最优的参数组合,那一定大有裨益,贝叶斯超 ...
贝叶斯优化(Bayesian Optimization)深入理解
目前在研究Automated Machine Learning,其中有一个子领域是实现网络超参数自动化搜索,而常见的搜索方法有Grid Search.Random Search以及贝叶斯优化搜索.前两 ...
贝叶斯优化 Bayesian Optimization
贝叶斯优化算法(BOA) 贝叶斯优化算法BOA 背景介绍贝叶斯优化流程形式化算法流程核心算法 Prior Function Acquisition Function 参考文献背景介绍当前的 ...
论文：贝叶斯优化方法和应用综述（1）--------陈述设计类问题举例子，与 model-free优化计算的对比
陈述: 就是想看一下贝叶斯学派的陈述,从不同的学派的对比,看看有什么优缺点,然后自己思考下. 摘要: 通过设计恰当的概率代理模型和采集函数,贝叶斯优化框架只需经过少数次目标函数评估即可获得理 ...
LESSON 10.410.510.6 贝叶斯优化的基本流程BayesOpt vs HyperOpt vs Optuna batch基于BayesOpt实现高斯过程gp优化
超参数优化 - 贝叶斯优化方法 import numpy as np import pandas as pd import sklearn import matplotlib as mlp impor ...
机器学习:贝叶斯和优化方法_Facebook使用贝叶斯优化在机器学习模型中进行更好的实验
机器学习:贝叶斯和优化方法 I recently started a new newsletter focus on AI education. TheSequence is a no-BS( mea ...
python代码设置超参数_超参数调优总结，贝叶斯优化Python代码示例
本文介绍超参数(hyperparameter)的调优方法. 神经网络模型的参数可以分为两类,模型参数,在训练中通过梯度下降算法更新: 超参数,在训练中一般是固定数值或者以预设规则变化,比如批大小(ba ...
时序预测 | MATLAB实现贝叶斯优化CNN-LSTM时间序列预测(股票价格预测)
时序预测 | MATLAB实现贝叶斯优化CNN-LSTM时间序列预测(股票价格预测) 目录时序预测 | MATLAB实现贝叶斯优化CNN-LSTM时间序列预测(股票价格预测) 效果一览基本介绍模 ...
随机森林算法及贝叶斯优化调参Python实践
1. 随机森林算法 1.1. 集成模型简介集成学习模型使用一系列弱学习器(也称为基础模型或基模型)进行学习,并将各个弱学习器的结果进行整合,从而获得比单个学习器更好的学习效果. 集成学习模型的常见算 ...

贝叶斯优化的初步理解

贝叶斯优化的初步理解相关推荐

最新文章

热门文章