小批量随机梯度下降法

文章目录

写在前面
小批量随机梯度公式
代码
参考文献

写在前面

小批量随机梯度下降法（Mini-batch Stochastic Gradient Decent）是对速度和稳定性进行妥协后的产物

小批量随机梯度公式

我们可以看出当b=1时，小批量随机下降法就等价与SGD；当b=N时，小批量就等价于全批量。所以小批量梯度下降法的效果也和b的选择相关，这个数值被称为批量尺寸(batch size)。对于如何选择b，感兴趣的朋友可以在下方进行讨论。

代码

'''
小批量随机梯度下降法（Mini-batch Stochastic Gradient Decent）是对速度和稳定性进行妥协后的产物。
我们先回顾以一下全批量法是如何计算每次迭代中的梯度的
'''
import pandas as pd
import numpy as np
import os
os.getcwd()
# F:\\pythonProject3\\data\\data\\train.csv
# dataset_path = '..'
# 这是一个全批量梯度下降（full-batch gradient descent）的应用。
# 这个问题是一个回归问题
# 我们给出美国某大型问答社区从2010年10月1日到2016年11月30日，
# 每天新增的问题的个数和回答的个数。
# 任务是预测2016年12月1日到2017年5月1日，该问答网站每天新增的问题数和回答数。
train = pd.read_csv('..\\train.csv')
# 导入数据
# train = pd.read_csv('train.csv')
test = pd.read_csv('..\\test.csv')
submit = pd.read_csv('..\\sample_submit.csv')
path1=os.path.abspath('.')print("path1@@@@@",path1)
path2=os.path.abspath('..')
print("path2@@@@@",path2)
print(train)
# 初始设置
beta = [1,1] #初始点
alpha = 0.2 #学习率，也就是步长
tol_L = 0.1 #阈值，也就是精度
batch_size= 16
# 对x进行归一化,train 是训练数据的二维表格
max_x = max(train['id']) #max_x是总共的id数
x = train['id'] / max_x #所有的id都除于max_x
y = train['questions'] # train二维表格中的questions列赋给y
type(train['id'])
print("train['id']#######\n",train['id'])
print("type(train['id'])###\n\n",x)
print("max_x#######",max_x)#为了计算方向
#定义计算mini - batch随机梯度的函数
def compute_grad_batch(beta,batch_size, x, y):''':param beta: 是初始点:param x: 是自变量:param y: 是真是值:return: 梯度数组'''grad = [0, 0]r = np.random.choice(range(len(x)), batch_size, replace=False)#从range(laen(x))中随机选取batch_seze 也就是16个数字，不能相同。16个数据一起训练一起计算梯度grad[0] = 2. * np.mean(beta[0] + beta[1] * x[r] - y[r]) #求beta[1,1]，中第1个数的梯度grad[1] = 2. * np.mean(x * (beta[0] + beta[1] * x - y))#求beta[1,1]，中第2个数的梯度return np.array(grad)
#为了计算下一个点在哪，
def update_beta(beta, alpha, grad):''':param beta: 第一点，初始点:param alpha: 学习率，也就时步长:param grad: 梯度:return:'''new_beta = np.array(beta) - alpha * gradreturn new_beta
# 定义计算RMSE的函数
# 均方根误差（RMSE）
def rmse(beta, x, y):squared_err = (beta[0] + beta[1] * x - y) ** 2 # beta[0] + beta[1] * x是预测值，y是真实值，res = np.sqrt(np.mean(squared_err))return res
# 进行第一次计算
grad = compute_grad_batch(beta,batch_size, x, y) #调用计算梯度函数，计算梯度
loss = rmse(beta, x, y) #调用损失函数，计算损失
beta = update_beta(beta, alpha, grad) #更新下一点
loss_new = rmse(beta, x, y) #调用损失函数，计算下一个损失
# 开始迭代
i = 1
while np.abs(loss_new - loss) > tol_L:beta = update_beta(beta, alpha, grad)grad = compute_grad_batch(beta, batch_size,x, y)loss = loss_newloss_new = rmse(beta, x, y)i += 1print('Round %s Diff RMSE %s'%(i, abs(loss_new - loss)))
print('Coef: %s \nIntercept %s'%(beta[1], beta[0]))
res = rmse(beta, x, y)
print('Our RMSE: %s'%res)
from sklearn.linear_model import LinearRegression
lr = LinearRegression()
lr.fit(train[['id']], train[['questions']])
print('Sklearn Coef: %s'%lr.coef_[0][0])
print('Sklearn Coef: %s'%lr.intercept_[0])
res = rmse([936.051219649, 2.19487084], train['id'], y)
print('Sklearn RMSE: %s'%res)
print('x[2]是￥￥￥￥￥￥￥￥￥￥',x[2])
print('y[2]是￥￥￥￥￥￥￥￥￥￥',y[2])
# submit = pd.read_csv('sample_submit.csv')
print('submit[questions]@@@@@@@',submit['id'] )
submit['questions'] = submit['id'] * 2.1948708444469553 + 936.0512196487161
print('submit[questions]@@@@@@@',submit['questions'] )

参考文献

小批量随机梯度下降法

小批量随机梯度下降法相关推荐

动手学深度学习——基础优化算法梯度下降，小批量随机梯度下降
一.梯度下降算法挑选一个初始值w0: 重复迭代参数t=1,2,3: 在接下来不断的更新w0,使它接近最优解: 具体来说,法则如下: wt等于wt的上一时刻减去η乘以损失函数关于wt的上一时刻的梯度. ...
python拟合曲线（小批量随机梯度下降）
深度学习书籍参考:https://tangshusen.me/Dive-into-DL-PyTorch/#/read_guide import numpy as np from matplotlib ...
【深度学习】(问题记录)＜对一个变量求梯度得到什么＞-线性回归-小批量随机梯度下降
随机梯度下降法（stochastic gradient descent，SGD）
梯度下降法大多数机器学习或者深度学习算法都涉及某种形式的优化. 优化指的是改变特征x以最小化或最大化某个函数 f(x) 的任务. 我们通常以最小化 f(x) 指代大多数最优化问题. 最大化可经由 ...
线性回归之随机梯度下降法（Stochastic Gradient Descent，SGD）
通俗易懂一个经典的例子就是假设你现在在山上,为了以最快的速度下山,且视线良好,你可以看清自己的位置以及所处位置的坡度,那么沿着坡向下走,最终你会走到山底.但是如果你被蒙上双眼,那么你则只能凭借脚踩石 ...
1. 批量梯度下降法BGD 2. 随机梯度下降法SGD 3. 小批量梯度下降法MBGD
排版也是醉了见原文:http://www.cnblogs.com/maybe2030/p/5089753.html 在应用机器学习算法时,我们通常采用梯度下降法来对采用的算法进行训练.其实,常用的梯度 ...
【数据挖掘】神经网络后向传播算法 ( 梯度下降过程 | 梯度方向说明 | 梯度下降原理 | 损失函数 | 损失函数求导 | 批量梯度下降法 | 随机梯度下降法 | 小批量梯度下降法 )
文章目录 I . 梯度下降 Gradient Descent 简介 ( 梯度下降过程 | 梯度下降方向 ) II . 梯度下降示例说明 ( 单个参数 ) III . 梯度下降示例说明 ( 多个参数 ...
批量梯度下降法（BGD）、随机梯度下降法（SGD）和小批量梯度下降法（MBGD）
在机器学习中,对于很多监督学习模型,需要对原始的模型构建损失函数,接下来便是通过优化算法对损失函数进行优化,以便找到最优的参数. 梯度下降法作为机器学习中较常使用的优化算法,在其求解过程中,只需要求解 ...
详解批量梯度下降法（BGD）、随机梯度下降法（SGD）和小批量梯度下降法（MBGD）
在应用机器学习算法时,我们常采用梯度下降法来对才用的算法进行训练.梯度下降法有三种不同的形式:批量梯度下降(Batch Gradient Descent).随机梯度下降(Stochastic Grad ...

小批量随机梯度下降法

文章目录

写在前面

小批量随机梯度公式

代码

参考文献

小批量随机梯度下降法相关推荐

最新文章

热门文章