• 1.算法描述

批量梯度下降的主要问题是它要用整个训练集来计算每一步的梯度，训练集大时算法特别慢。相反，随机梯度下降,每一步在训练集中随机选择一个实例，并且仅基于该单个实例来计算梯度。

与使用批量梯度下降相比，随机梯度下降时，每个训练步骤要快得多，但也更加随机

当成本函数非常不规则时，随机梯度下降可以帮助算法跳出局部最小值，所以相比批量梯度下降，它对于找全局最小值更有优势

因此随机性的好处是可以逃离局部最优，但是缺点是永远定位不出最小值

• 2. 实验模拟

开始的时候步长较大，这有助于快速进展和逃离局部最小值，然后越来越小，让算法尽可能靠近全局最小值—模拟退火

每个迭代学习率的函数的叫学习调度。如果学习率下降得太快，可能会陷入局部最小值，甚至是停留在走向最小值的半途中。如果学习率降得太慢，需要太长时间才能跳到差不多最小值附近，如果提早结束训练，可能只得到一个次优解的方案

import numpy as np
from matplotlib import pyplot as plt
from sklearn.linear_model import LinearRegressionX=2*np.random.rand(100,1)
X=np.matrix(X)
y=4 + 3*X + np.random.rand(100,1)
y=np.matrix(y)n_epochs=50
t0,t1=5,50def learning_schedule(t):return t0/(t+t1)def picture(X_new,y_predict):plt.plot(X_new,y_predict,"r-")plt.plot(X,y,"b.")X_b=np.c_[np.ones((100, 1)), X]
theta_best=np.linalg.inv(X_b.T.dot(X_b)).dot(X_b.T).dot(y)X_new=np.array([[0],[2]])
X_new_b=np.c_[np.ones((2,1)),X_new]n_iterations=1000#迭代次数
m=100theta=np.random.randn(2,1)for epoch in range(n_epochs):for i in range(m):random_index=np.random.randint(m)xi=X_b[random_index:random_index+1]yi=y[random_index:random_index+1]gradients=2*xi.T.dot(xi.dot(theta)-yi)eta=learning_schedule(epoch*m+i)#learning ratetheta=theta-eta*gradientsy_predict = X_new_b.dot(theta)picture(X_new, y_predict)print(theta)
plt.axis([0,2,0,15])
plt.xlabel('X1')
plt.ylabel('y')
plt.show()

虽然批量梯度下降代码在整个训练集中进行了1000次迭代，但此代码仅在训练集中遍历了50次，并达到了一个很好的解决方案

[[4.46409376]
[3.03674864]]

• 3. 注意事项

使用随机梯度下降时，训练实例必须独立同分布，以确保平均而言将参数拉向全局最优值，其中的实例是随机选取的，因此某些实例可能每个轮次中被选取几次，而其他实例则可能根本不被选取，解决方法为混洗—遍历—混洗，但是，这种方法通常收敛较慢

• 4. 使用Scikit—Learn的随机梯度下降执行线性回归

使用SGDRegressor类，该类默认优化平方误差成本函数

import numpy as np
from matplotlib import pyplot as plt
from sklearn.linear_model import LinearRegressionX=2*np.random.rand(100,1)
X=np.matrix(X)
y=4 + 3*X + np.random.rand(100,1)
y=np.matrix(y)
#这是由于在新版的sklearn中，所有的数据都应该是二维矩阵，哪怕它只是单独一行或一列
#(比如前面做预测时，仅仅只用了一个样本数据)，所以需要使用.reshape(1,-1)进行转换
y = np.array(y).reshape(1, -1)from sklearn.linear_model import SGDRegressor
#1.代码最多可以执行1000次
#2.或者直到一个轮次期间损失下降小于0.001为止
#4.默认学习调度以0.1的学习率开始
sgd_reg=SGDRegressor(max_iter=1000,tol=1e-3,penalty=None,eta0=0.1)sgd_reg.fit(X,y.ravel())print(sgd_reg.intercept_,sgd_reg.coef_)

再次找到了一种非常接近于由标准方程返回的解

[4.46581072] [3.00165571]