Rosenbrock函数的梯度与海瑟矩阵

题目：

考虑Rosenbrock函数f(x)=∑i=1n−1[100(xi+1−xi2)2+(xi−1)2]f(x)=\sum_{i=1}^{n-1}[100(x_{i+1}-x_i^2)^2+(x_i-1)^2]f(x)=∑i=1n−1[100(xi+1−xi2)2+(xi−1)2]，求∇f(x)\nabla f(x)∇f(x)，∇2f(x)\nabla^2 f(x)∇2f(x)。

解析：

对xjx_jxj求偏导：
∂f(x)∂xj=402xj−200xj−1−200xj+1−2(1)\frac{\partial f(x)}{\partial x_j}=402x_j-200x_{j-1}-200x_{j+1}-2 \tag 1 ∂xj∂f(x)=402xj−200xj−1−200xj+1−2(1)
记∇f(x)\nabla f(x)∇f(x)为：
∇f(x)=[a1,a2,...,an]T(2)\nabla f(x)=[a_1,a_2,...,a_n]^T \tag 2 ∇f(x)=[a1,a2,...,an]T(2)
其中：
am=402xm−200xm−1−200xm+1−2,2≤m≤n−1(3)a_m=402x_m-200x_{m-1}-200x_{m+1}-2,2 \leq m \leq n-1 \tag 3 am=402xm−200xm−1−200xm+1−2,2≤m≤n−1(3)
a1=202x1−202x2−2(4)a_1=202x_1-202x_2-2 \tag 4 a1=202x1−202x2−2(4)
an=200(xn−xn−1)(5)a_n=200(x_n-x_{n-1}) \tag 5 an=200(xn−xn−1)(5)
记∇2f(x)\nabla^2 f(x)∇2f(x)的矩阵各项为：
当2≤j≤n−12 \leq j \leq n-12≤j≤n−1时：
bjj=402,bjj−1=−200,bjj+1=−200(6)b_jj=402,b_{jj-1}=-200,b_{jj+1}=-200 \tag 6 bjj=402,bjj−1=−200,bjj+1=−200(6)
其他情况：
b11=202,b12=−200,bnn=200,bnn−1=−200(7)b_{11}=202,b_{12}=-200,b_{nn}=200,b_{nn-1}=-200 \tag 7 b11=202,b12=−200,bnn=200,bnn−1=−200(7)
除以上外：
bij=0(8)b_{ij}=0 \tag 8 bij=0(8)

Rosenbrock函数的梯度与海瑟矩阵相关推荐

海瑟矩阵和函数凹凸性之间的关系
以下阐述以2维的凸函数(convex function)为例注释:可以推广到多维的凸函数和凹函数(concave function) 我们定义2维的函数为 f(x),x=[x1,x2]T∈R2f(\ ...
【优化笔记2】范数+梯度+海瑟矩阵
【pytorch】Rosenbrock 函数的梯度下降法和牛顿法求解
import torchimport numpy as np import pandas as pd import matplotlib.pyplot as plt # Rosenbrock func ...
多元函数严格凹海塞矩阵正定_海森矩阵的应用：多元函数极值的判定
海森矩阵(Hessian Matrix),又译作黑塞矩阵.海瑟矩阵. 海塞矩阵等,是一个多元函数的二阶偏导数构成的方阵,描述了函数的局部曲率.黑塞矩阵最早于19世纪由德国数学家 Ludwig Ott ...
python牛顿法寻找极值_python使用梯度下降和牛顿法寻找Rosenbrock函数最小值实例...
Rosenbrock函数的定义如下: 其函数图像如下: 我分别使用梯度下降法和牛顿法做了寻找Rosenbrock函数的实验. 梯度下降梯度下降的更新公式: 图中蓝色的点为起点,橙色的曲线(实际上是折 ...
局部最优、梯度消失、鞍点、海森矩阵(Hessian Matric)、批梯度下降算法(btach批梯度下降法BGD、小批量梯度下降法Mini-Batch GD、随机梯度下降法SGD)
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) BATCH_SIZE大小设置对训练耗时的影响:1.如果当设置B ...
梯度、雅克比矩阵、海森矩阵、多元泰勒公式
梯度向量的表达式为: [∂f∂x1∂f∂x2...∂f∂xn]=[∂f∂x1∂f∂x2..∂f∂xn]T\left[ \begin{array} { c c } {\frac {\partial{ ...
特征提取 - 海森矩阵（Hessian Matrix）及一个用例（图像增强）
转自:https://blog.csdn.net/u013921430/article/details/79770458 这个例子效果并没有给出的结果那么好,但是Hessian矩阵的生成可以参考前言 ...
雅可比矩阵和海森矩阵
雅可比矩阵假设F:Rn→Rm 是一个从欧式n维空间转换到欧式m维空间的函数.这个函数由m个实函数组成: y1(x1,...,xn), ..., ym(x1,...,xn). 这些函数的偏导数(如果存 ...
海森矩阵和雅克比矩阵的区别
海森矩阵是梯度矩阵的雅克比矩阵雅可比矩阵可以理解为: 若在n维欧式空间中的一个向量映射成m维欧式空间中的另一个向量的对应法则为F,F由m个实函数组成,即: 那么雅可比矩阵是一个m×n矩阵: 与海森矩 ...

Rosenbrock函数的梯度与海瑟矩阵

Rosenbrock函数的梯度与海瑟矩阵

Rosenbrock函数的梯度与海瑟矩阵相关推荐

最新文章

热门文章