文章目录

前言
1. 向量与单变量求导
- 1.1 向量对单变量
- 1.2 单变量对向量求导
2. 矩阵与单变量求导
- 2.1 矩阵对单变量求导
- 2.2 单变量对矩阵求导
3. 向量对向量的求导
- 3.1 列向量对行向量求导
- 3.2 行向量对列向量求导
- 3.3 列向量对列向量求导
- 3.4 行向量对行向量求导
4. 矩阵和向量的求导
- 4.1 矩阵对列向量求导
- 4.2 矩阵对行向量求导
- 4.3 列向量对矩阵求导
- 4.4 行向量对矩阵求导
5. 矩阵对矩阵的求导
6. 参考资料

本文属于我的机器学习/深度学习系列文章，点此查看系列文章目录

前言

关于函数求导大部分人都懂得如何求，但基本都是单变量对单变量和多变量对单变量的求导，在机器学习（深度学习）中经常性要用到向量对向量，矩阵对向量的求导等，掌握这些求导法则也是十分必要的。

本文将由简入繁，讲述如何矩阵、向量求导，也可以将本文作为手册，在需要的时候查询对应求导法则。

1. 向量与单变量求导

1.1 向量对单变量

向量包含行、列向量，对于单个变量的求导类似，也很容易理解。

一般情况下我们约定单个向量符号x\mathbf xx指列向量，如果要表示行向量，添加一个T转置符号xT\mathbf x^TxT

列向量
设y=[y1y2...yn],x\mathbf y=\begin{bmatrix}y_1\\ y_2\\ ...\\ y_n\end{bmatrix},xy=⎣⎢⎢⎡y1y2...yn⎦⎥⎥⎤,x是单变量，则∂y∂x=[∂y1∂x∂y2∂x...,∂yn∂x]\frac{\partial \mathbf y}{\partial x} = \begin{bmatrix} \frac{\partial y_1}{\partial x}\\ \frac{\partial y_2}{\partial x}\\ ...,\\ \frac{\partial y_n}{\partial x} \end{bmatrix}∂x∂y=⎣⎢⎢⎡∂x∂y1∂x∂y2...,∂x∂yn⎦⎥⎥⎤
行向量
设yT=[y1,y2,...,yn],x\mathbf y^T=[y_1,y_2,...,y_n],xyT=[y1,y2,...,yn],x是单变量，则∂yT∂x=[∂y1∂x,∂y2∂x,...,∂yn∂x]\frac{\partial \mathbf y^T}{\partial x} = [\frac{\partial y_1}{\partial x},\frac{\partial y_2}{\partial x},...,\frac{\partial y_n}{\partial x}]∂x∂yT=[∂x∂y1,∂x∂y2,...,∂x∂yn]

1.2 单变量对向量求导

与向量对单变量求导刚好相反，两者颠倒一下。但总体意义相似，结果是单变量分别对向量中元素的求导组成的新向量。

列向量
设x=[x1x2...xn],y\mathbf x=\begin{bmatrix} x_1\\ x_2\\ ...\\ x_n\end{bmatrix},yx=⎣⎢⎢⎡x1x2...xn⎦⎥⎥⎤,y是单变量，则是单变量，则是单变量，则∂y∂x=[∂y∂x1∂y∂x2...,∂y∂xn]\frac{\partial y}{\partial \mathbf x} = \begin{bmatrix} \frac{\partial y}{\partial x_1}\\ \frac{\partial y}{\partial x_2}\\ ...,\\ \frac{\partial y}{\partial x_n} \end{bmatrix}∂x∂y=⎣⎢⎢⎢⎡∂x1∂y∂x2∂y...,∂xn∂y⎦⎥⎥⎥⎤
行向量
设xT=[x1,x2,...,xn],y\mathbf x^T=[x_1,x_2,...,x_n],yxT=[x1,x2,...,xn],y是单变量，则∂y∂xT=[∂y∂x1,∂y∂x2,...,∂y∂xn]\frac{\partial y}{\partial \mathbf x^T} = [\frac{\partial y}{\partial x_1},\frac{\partial y}{\partial x_2},...,\frac{\partial y}{\partial x_n}]∂xT∂y=[∂x1∂y,∂x2∂y,...,∂xn∂y]

2. 矩阵与单变量求导

2.1 矩阵对单变量求导

矩阵对单变量的求导与向量求导类似，就是每个元素分别对变量求导。

设Y=[y11...y1n.........ym1...ymn]Y= \begin{bmatrix} y_{11} & ... & y_{1n} \\ ... & ... & ... \\ y_{m1} & ... & y_{mn} \end{bmatrix}Y=⎣⎡y11...ym1.........y1n...ymn⎦⎤，则∂Y∂x=[∂y11∂x...∂y1n∂x.........∂ym1∂x...∂ymn∂x]\frac{\partial Y}{\partial x} = \begin{bmatrix} \frac{\partial y_{11}}{\partial x} & ... & \frac{\partial y_{1n}}{\partial x} \\ ... & ... & ... \\ \frac{\partial y_{m1}}{\partial x} & ... & \frac{\partial y_{mn}}{\partial x} \end{bmatrix}∂x∂Y=⎣⎡∂x∂y11...∂x∂ym1.........∂x∂y1n...∂x∂ymn⎦⎤

2.2 单变量对矩阵求导

设X=[x11...x1n.........xm1...xmn]X= \begin{bmatrix} x_{11} & ... & x_{1n} \\ ... & ... & ... \\ x_{m1} & ... & x_{mn} \end{bmatrix}X=⎣⎡x11...xm1.........x1n...xmn⎦⎤，则∂y∂X=[∂y∂x11...∂y∂x1n.........∂y∂xm1...∂y∂xmn]\frac{\partial y}{\partial X} = \begin{bmatrix} \frac{\partial y}{\partial x_{11}} & ... & \frac{\partial y}{\partial x_{1n}} \\ ... & ... & ... \\ \frac{\partial y}{\partial x_{m1}} & ... & \frac{\partial y}{\partial x_{mn}} \end{bmatrix}∂X∂y=⎣⎡∂x11∂y...∂xm1∂y.........∂x1n∂y...∂xmn∂y⎦⎤

3. 向量对向量的求导

向量之间的求导要比单变量的情况稍微复杂一些，但只要懂了单变量对向量的求导，就可以理解为多个单变量对向量求导组合。这里按照列行，行列，列列,行行四种情况讨论：

向量对向量的求导说起来简单但记忆起来也容易让人头晕，常常会分不清先哪一个对哪一个求导，在这里，我提供一种我自己较为喜欢的求导记忆方法：看下偏导，若是行向量，则上偏导不变，按分母划分；若是列向量，则下偏导不变，按上偏导划分，经过这样一步后，得到的每个元素都是单变量和向量的求导，易求导。

3.1 列向量对行向量求导

设y=[y1y2...ym],xT=[x1,x2,...,xn],求∂y∂xT\mathbf y=\begin{bmatrix}y_1\\\\y_2\\\\...\\\\y_m\end{bmatrix},\mathbf x^T =[x_1,x_2,...,x_n],求 \frac{\partial \mathbf y}{\partial \mathbf x^T}y=⎣⎢⎢⎢⎢⎢⎢⎢⎢⎡y1y2...ym⎦⎥⎥⎥⎥⎥⎥⎥⎥⎤,xT=[x1,x2,...,xn],求∂xT∂y

下偏导为行向量，∂y\partial \mathbf y∂y不变，按∂xT\partial \mathbf x^T∂xT划分

则
∂y∂xT=[∂y∂x1,...,∂y∂xn]=[∂y1∂x1...∂y1∂xn.........∂ym∂x1...∂ym∂xn]\frac{\partial \mathbf y}{\partial \mathbf x^T} = [\frac{\partial \mathbf y}{\partial x_1},...,\frac{\partial \mathbf y}{\partial x_n}] = \begin{bmatrix}\frac{\partial y_1}{\partial x_1} & ... & \frac{\partial y_1}{\partial x_n} \\\\... & ... & ... \\\\\frac{\partial y_m}{\partial x_1} & ... & \frac{\partial y_m}{\partial x_n}\end{bmatrix} ∂xT∂y=[∂x1∂y,...,∂xn∂y]=⎣⎢⎢⎢⎢⎡∂x1∂y1...∂x1∂ym.........∂xn∂y1...∂xn∂ym⎦⎥⎥⎥⎥⎤

后一步化简是因为∂y∂xi=[∂y1∂xi...∂ym∂xi]\frac{\partial \mathbf y}{\partial x_i} = \begin{bmatrix}\frac{\partial y_1}{\partial x_i} \\... \\\frac{\partial y_m}{\partial x_i} \end{bmatrix}∂xi∂y=⎣⎡∂xi∂y1...∂xi∂ym⎦⎤ ,n个列向量组合而成

3.2 行向量对列向量求导

设yT=[y1,y2,...,ym],x=[x1x2...xn],求∂yT∂x\mathbf y^T =[y_1,y_2,...,y_m], \mathbf x=\begin{bmatrix}x_1\\x_2\\...\\x_n\end{bmatrix},求\frac{\partial \mathbf y^T}{\partial \mathbf x}yT=[y1,y2,...,ym],x=⎣⎢⎢⎡x1x2...xn⎦⎥⎥⎤,求∂x∂yT

下偏导为列向量，不变，按照上偏导划分

则
∂yT∂x=[∂y1∂x,...,∂ym∂x]=[∂y1∂x1...∂ym∂x1.........∂y1∂xn...∂ym∂xn]\frac{\partial \mathbf y^T}{\partial \mathbf x} = [ \frac{\partial y_1}{\partial \mathbf x}, ..., \frac{\partial y_m}{\partial \mathbf x} ] = \begin{bmatrix} \frac{\partial y_1}{\partial x_1} & ... & \frac{\partial y_m}{\partial x_1} \\ ... & ... & ... \\ \frac{\partial y_1}{\partial x_n} & ... & \frac{\partial y_m}{\partial x_n} \end{bmatrix} ∂x∂yT=[∂x∂y1,...,∂x∂ym]=⎣⎡∂x1∂y1...∂xn∂y1.........∂x1∂ym...∂xn∂ym⎦⎤

后一步化简是因为∂yi∂x=[∂yi∂x1...∂yi∂xn]\frac{\partial y_i}{\partial \mathbf x} = \begin{bmatrix}\frac{\partial y_i}{\partial x_1} \\... \\\frac{\partial y_i}{\partial x_n} \end{bmatrix}∂x∂yi=⎣⎡∂x1∂yi...∂xn∂yi⎦⎤,由m个列向量组成

3.3 列向量对列向量求导

设y=[y1y2...ym],x=[x1x2...xn],求∂y∂x\mathbf y=\begin{bmatrix}y_1\\y_2\\...\\y_m\end{bmatrix}, \mathbf x=\begin{bmatrix}x_1\\x_2\\...\\x_n\end{bmatrix},求 \frac{\partial \mathbf y}{\partial \mathbf x}y=⎣⎢⎢⎡y1y2...ym⎦⎥⎥⎤,x=⎣⎢⎢⎡x1x2...xn⎦⎥⎥⎤,求∂x∂y

下偏导为列向量，按上偏导划分

∂y∂x=[∂y1∂x∂y2∂x...∂ym∂x]=[∂y1∂x1∂y1∂x2...∂ym∂x1∂ym∂x2...∂ym∂xn]\frac{\partial \mathbf y}{\partial \mathbf x} =\begin{bmatrix} \frac{\partial y_1}{\partial \mathbf x}\\ \frac{\partial y_2}{\partial \mathbf x}\\ ...\\\\ \frac{\partial y_m}{\partial \mathbf x}\end{bmatrix} = \begin{bmatrix} \frac{\partial y_1}{\partial x_1} \\ \frac{\partial y_1}{\partial x_2} \\ ... \\ \frac{\partial y_m}{\partial x_1} \\ \frac{\partial y_m}{\partial x_2} \\ ... \\ \frac{\partial y_m}{\partial x_n} \end{bmatrix} ∂x∂y=⎣⎢⎢⎢⎢⎡∂x∂y1∂x∂y2...∂x∂ym⎦⎥⎥⎥⎥⎤=⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡∂x1∂y1∂x2∂y1...∂x1∂ym∂x2∂ym...∂xn∂ym⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤

最后结果是一个大列向量

3.4 行向量对行向量求导

设yT=[y1,y2,...,ym],xT=[x1,x2,...,xn],求∂yT∂xT\mathbf y^T =[y_1,y_2,...,y_m], \mathbf x^T=[x_1,x_2,...,x_n],求\frac{\partial \mathbf y^T}{\partial \mathbf x^T}yT=[y1,y2,...,ym],xT=[x1,x2,...,xn],求∂xT∂yT

下偏导是行向量，按下偏导划分

∂yT∂xT=[∂yT∂x1,∂yT∂x2,...,∂yT∂xn]=[∂y1∂x1,∂y2∂x1,...,∂ym∂x1,...,∂ym∂xn]\frac{\partial \mathbf y^T}{\partial \mathbf x^T} =[ \frac{\partial \mathbf y^T}{\partial x_1}, \frac{\partial \mathbf y^T}{\partial x_2} ,..., \frac{\partial \mathbf y^T}{\partial x_n}] = [\frac{\partial y_1}{\partial x_1},\frac{\partial y_2}{\partial x_1},...,\frac{\partial y_m}{\partial x_1},...,\frac{\partial y_m}{\partial x_n}] ∂xT∂yT=[∂x1∂yT,∂x2∂yT,...,∂xn∂yT]=[∂x1∂y1,∂x1∂y2,...,∂x1∂ym,...,∂xn∂ym]

最后结果是一个大行向量

向量之间的求导理解和记忆会稍微难一些，但是仔细自己推敲一下就可以掌握了。

4. 矩阵和向量的求导

矩阵和向量的求导其实可以类比向量之间，矩阵由多个向量组合，我们只需将其分解为多个向量就可以一步步化简。

4.1 矩阵对列向量求导

设Y=[y11...y1n.........ym1...ymn],x=[x1x2...xp],求∂Y∂xY= \begin{bmatrix}y_{11} & ... & y_{1n} \\... & ... & ... \\y_{m1} & ... & y_{mn}\end{bmatrix},\mathbf x = \begin{bmatrix}x_1 \\x_2 \\...\\x_p\end{bmatrix},求\frac{\partial Y}{\partial \mathbf x}Y=⎣⎡y11...ym1.........y1n...ymn⎦⎤,x=⎣⎢⎢⎡x1x2...xp⎦⎥⎥⎤,求∂x∂Y

同样的道理，x\mathbf xx是行向量，不变，对Y划分，这里我直接同时行列划分

∂Y∂x=[∂y11∂x...∂y1n∂x.........∂ym1∂x...∂ymn∂x]\frac{\partial Y}{\partial \mathbf x}= \begin{bmatrix} \frac{\partial y_{11}}{\partial \mathbf x} &... & \frac{\partial y_{1n}}{\partial \mathbf x}\\ ... & ... & ...\\ \frac{\partial y_{m1}}{\partial \mathbf x} & ... & \frac{\partial y_{mn}}{\partial \mathbf x} \end{bmatrix}∂x∂Y=⎣⎡∂x∂y11...∂x∂ym1.........∂x∂y1n...∂x∂ymn⎦⎤

4.2 矩阵对行向量求导

设Y=[y11...y1n.........ym1...ymn],xT=[x1,x2,...,xp],求∂Y∂xTY= \begin{bmatrix}y_{11} & ... & y_{1n} \\... & ... & ... \\y_{m1} & ... & y_{mn}\end{bmatrix},\mathbf x^T = [x_1,x_2,...,x_p],求\frac{\partial Y}{\partial \mathbf x^T}Y=⎣⎡y11...ym1.........y1n...ymn⎦⎤,xT=[x1,x2,...,xp],求∂xT∂Y

x\mathbf xx是行向量，因此直接对下偏导划分

∂Y∂xT=[∂Y∂x1,∂Y∂x2,...,∂Y∂xp]\frac{\partial Y}{\partial \mathbf x^T} = [\frac{\partial Y}{\partial x_1},\frac{\partial Y}{\partial x_2},...,\frac{\partial Y}{\partial x_p}]∂xT∂Y=[∂x1∂Y,∂x2∂Y,...,∂xp∂Y]

4.3 列向量对矩阵求导

设y=[y1y2...ym],X=[x11...x1q.........xp1...xpq],求∂y∂X\mathbf y=\begin{bmatrix}y_1\\y_2\\...\\y_m\end{bmatrix},X= \begin{bmatrix}x_{11} & ... & x_{1q} \\... & ... & ... \\x_{p1} & ... & x_{pq}\end{bmatrix},求 \frac{\partial \mathbf y}{\partial X}y=⎣⎢⎢⎡y1y2...ym⎦⎥⎥⎤,X=⎣⎡x11...xp1.........x1q...xpq⎦⎤,求∂X∂y

在下偏导是矩阵的时候，将其分割成向量的形式，再按法则计算

令X=[x1,x2,...,xq]X = [\mathbf x_1,\mathbf x_2,...,\mathbf x_q]X=[x1,x2,...,xq](列向量的组合)，则可将其视为行向量，对其划分

∂y∂X=[∂y∂x1,∂y∂x2,...,∂y∂xq]\frac{\partial \mathbf y}{\partial X} = [\frac{\partial \mathbf y}{\partial \mathbf x_1},\frac{\partial \mathbf y}{\partial \mathbf x_2},...,\frac{\partial \mathbf y}{\partial \mathbf x_q} ] ∂X∂y=[∂x1∂y,∂x2∂y,...,∂xq∂y]
而∂y∂xi\frac{\partial \mathbf y}{\partial \mathbf x_i}∂xi∂y则可按照列向量对列向量的法则计算。

这里还有另外一种解释方法，考虑单变量对矩阵求导。当下偏导为矩阵时，可考虑上偏导，若上偏导为列向量，则按上偏导划分，否则按下偏导划分

由此有
∂y∂X=[∂y1∂X...∂ym∂X]\frac{\partial \mathbf y}{\partial X} = \begin{bmatrix} \frac{\partial y_1}{\partial X} \\ ...\\ \frac{\partial y_m}{\partial X}\\ \end{bmatrix}∂X∂y=⎣⎡∂X∂y1...∂X∂ym⎦⎤

4.4 行向量对矩阵求导

设yT=[y1,y2,...,ym],X=[x11...x1q.........xp1...xpq],求∂yT∂X\mathbf y^T=[y_1,y_2,...,y_m],X= \begin{bmatrix}x_{11} & ... & x_{1q} \\... & ... & ... \\x_{p1} & ... & x_{pq}\end{bmatrix},求 \frac{\partial \mathbf y^T}{\partial X}yT=[y1,y2,...,ym],X=⎣⎡x11...xp1.........x1q...xpq⎦⎤,求∂X∂yT

一种方法依然是按照将矩阵分成向量，再按向量处理，这里直接给出第二种，根据上偏导选择划分对象，由于yT\mathbf y^TyT是行向量，按下偏导划分

∂yT∂X=[∂yT∂x11...∂yT∂x1q.........∂yT∂xp1...∂yT∂xpq]\frac{\partial \mathbf y^T}{\partial X} = \begin{bmatrix}\frac{\partial \mathbf y^T}{\partial x_{11}} & ... & \frac{\partial \mathbf y^T}{\partial x_{1q}}\\ ... & ... & ...\\ \frac{\partial \mathbf y^T}{\partial x_{p1}} & ... &\frac{\partial \mathbf y^T}{\partial x_{pq}} \end{bmatrix}∂X∂yT=⎣⎢⎡∂x11∂yT...∂xp1∂yT.........∂x1q∂yT...∂xpq∂yT⎦⎥⎤

5. 矩阵对矩阵的求导

设Y=[y11...y1n.........ym1...ymn],X=[x11...x1q.........xp1...xpq],求∂Y∂XY= \begin{bmatrix}y_{11} & ... & y_{1n} \\... & ... & ... \\y_{m1} & ... & y_{mn}\end{bmatrix},X= \begin{bmatrix}x_{11} & ... & x_{1q} \\... & ... & ... \\x_{p1} & ... & x_{pq}\end{bmatrix},求 \frac{\partial Y}{\partial X}Y=⎣⎡y11...ym1.........y1n...ymn⎦⎤,X=⎣⎡x11...xp1.........x1q...xpq⎦⎤,求∂X∂Y

将Y做行向量划分，X做列向量划分，Y=[y1Ty2T...ymT],X=[x1,x2,...,xq]Y = \begin{bmatrix}\mathbf y_1^T\\ \mathbf y_2^T\\ ...\\ \mathbf y_m^T \end{bmatrix}, X = [\mathbf x_1, \mathbf x_2,..., \mathbf x_q]Y=⎣⎢⎢⎡y1Ty2T...ymT⎦⎥⎥⎤,X=[x1,x2,...,xq] ，此时就是列向量对行向量求导

容易有
∂Y∂X=[∂y1T∂x1...∂y1T∂xq.........∂ymT∂x1...∂ymT∂xq]\frac{\partial Y}{\partial X} = \begin{bmatrix}\frac{\partial \mathbf y_1^T}{\partial \mathbf x_1} & ... & \frac{\partial \mathbf y_1^T}{\partial \mathbf x_q} \\ ... &...&...\\ \frac{\partial \mathbf y_m^T}{\partial \mathbf x_1} &...&\frac{\partial \mathbf y_m^T}{\partial \mathbf x_q} \end{bmatrix} ∂X∂Y=⎣⎢⎡∂x1∂y1T...∂x1∂ymT.........∂xq∂y1T...∂xq∂ymT⎦⎥⎤

6. 参考资料

周晓飞.UCAS.矩阵.向量求导法则

机器学习：矩阵、向量求导理解相关推荐

机器学习中的矩阵向量求导(四) 矩阵向量求导链式法则
在机器学习中的矩阵向量求导(三) 矩阵向量求导之微分法中,我们讨论了使用微分法来求解矩阵向量求导的方法.但是很多时候,求导的自变量和因变量直接有复杂的多层链式求导的关系,此时微分法使用起来也有些麻烦. ...
机器学习中的矩阵向量求导(三) 矩阵向量求导之微分法
在机器学习中的矩阵向量求导(二) 矩阵向量求导之定义法中,我们讨论了定义法求解矩阵向量求导的方法,但是这个方法对于比较复杂的求导式子,中间运算会很复杂,同时排列求导出的结果也很麻烦.因此我们需要其他的 ...
机器学习中的矩阵向量求导(二) 矩阵向量求导之定义法
在机器学习中的矩阵向量求导(一) 求导定义与求导布局中,我们讨论了向量矩阵求导的9种定义与求导布局的概念.今天我们就讨论下其中的标量对向量求导,标量对矩阵求导, 以及向量对向量求导这三种场景的基本求解 ...
机器学习中的矩阵向量求导(五) 矩阵对矩阵的求导
在矩阵向量求导前4篇文章中,我们主要讨论了标量对向量矩阵的求导,以及向量对向量的求导.本文我们就讨论下之前没有涉及到的矩阵对矩阵的求导,还有矩阵对向量,向量对矩阵求导这几种形式的求导方法. 本文所有求 ...
机器学习中的矩阵向量求导(一) 求导定义与求导布局
在之前写的上百篇机器学习博客中,不时会使用矩阵向量求导的方法来简化公式推演,但是并没有系统性的进行过讲解,因此让很多朋友迷惑矩阵向量求导的具体过程为什么会是这样的.这里准备用几篇博文来讨论下机器学习中 ...
机器学习中矩阵向量求导
以下内容是根据刘建平的求导博客做的相关笔记一.导数的定义与布局 1. 相关说明 2.导数布局导数部分有分子布局和分母布局两种情况. 分子布局和分母布局相差一个转置. 标量对向量求导布局向量对向量 ...
矩阵向量求导（转载与整理）
矩阵向量求导 (转载与整理) 矩阵向量求导 (转载与整理) 1.[刘建平Pinard老师](https://www.cnblogs.com/pinard/)的博客文章(机器学习中的矩阵向量求导) 2. ...
矩阵向量求导-刘建平Pinard|笔记
矩阵向量求导-刘建平Pinard|笔记矩阵向量求导(刘建平Pinard) 笔记原文链接声明一.求导定义与求导布局原文图片个人笔记二.矩阵向量求导之定义法原文图片个人笔记三.矩阵向量求 ...
矩阵向量求导(Matrix calculus)
#原文地址 **注:**不要把它和几何运算或者是向量运算混淆 #前言: 在数学中,矩阵微积分是进行多变量微积分的一种特殊符号,特别是在矩阵的空间上. 它将关于许多变量的单个函数的各种偏导数和/或关于单 ...

机器学习：矩阵、向量求导理解