单变量线性回归实验分析

1 实验目的

实现线性回归，预测该城市人口对应的利润。

2 数据集描述

现有一个数据集命名为ex1data1.txt，里面包含两个属性，即城市人口和利润。

3 使用工具

Pycharm python3

4 实验步骤

导入数据，并给每列数据命名一个名称Population，Profit

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
# 导入数据并查看
path="ex1data1.txt"
# 给每列数据命名一个名称Population，Profit
data=pd.read_csv(path,header=None,names=('Population','Profit'))

查看数据的前五行，和数据描述：

print(data.head())
print(data.describe())

输出结果图：

将所有数据用散点图表示：

# 可视化数据
data.plot(kind='scatter',x='Population',y='Profit',figsize=(8,5))
plt.show()

输出结果

4. 使用梯度下降实现线性回归，最小化代价函数，代价函数假设为

计算代价函数：

# 计算代价函数J（theta）
def computeCost(X,y,theta):inner=np.power(((X*theta.T)-y),2)return np.sum(inner)/(2*len(X))

在训练集中添加一列，以便使用向量化的方法来计算代价和梯度。

# 在训练集中第0列添加一列数字1，命名为Ones
data.insert(0,'Ones',1)

取最后一列为 y，其余为 X

# 取最后一列为y,其余为X
# 列数
cols=data.shape[1]
# 取前cols-1列，即输入向量
X=data.iloc[:,0:cols-1]
# 取最后一列，即目标向量
y=data.iloc[:,cols-1:cols]

观察下 X (训练集) 是否正确

print(X.head())

输出结果：

转换X和Y，初始化theta。

# 转换X和y，初始化theta
X=np.matrix(X.values)
y=np.matrix(y.values)
theta=np.matrix([0,0])

计算初始代价函数的值，theta初始值为0

# 计算初始代价函数的值 (theta初始值为0).
print(computeCost(X, y, theta))# 32.072733877455676

批量梯度下降

def gradientDescent(X, y, theta, alpha, epoch):temp=np.matrix(np.zeros(theta.shape))  # 初始化一个 θ 临时矩阵(1, 2)parameters=int(theta.flatten().shape[1])  # 参数 θ的数量cost=np.zeros(epoch)  # 初始化一个ndarray，包含每次epoch的costm=X.shape[0]  # 样本数量mfor i in range(epoch):# 利用向量化一步求解temp=theta - (alpha / m) * (X * theta.T - y).T * Xtheta=tempcost[i]=computeCost(X, y, theta)return theta, cost

初始化一些附加变量 - 学习速率α和要执行的迭代次数。

alpha=0.01
epoch=1000

画出拟合图像：

# 运行梯度下降算法来将我们的参数θ适合于训练集。
final_theta, cost = gradientDescent(X, y, theta, alpha, epoch)
# 使用我们拟合的参数计算训练模型的代价函数（误差）。
computeCost(X, y, final_theta)
# 绘制线性模型以及数据，直观地看出它的拟合。
x = np.linspace(data.Population.min(), data.Population.max(), 100)  # 横坐标
f = final_theta[0, 0] + (final_theta[0, 1] * x)  # 纵坐标，利润
fig, ax = plt.subplots(figsize=(6,4))
ax.plot(x, f, 'r', label='Prediction')
ax.scatter(data['Population'], data.Profit, label='Traning Data')
ax.legend(loc=2)  # 2表示在左上角
ax.set_xlabel('Population')
ax.set_ylabel('Profit')
ax.set_title('Predicted Profit vs. Population Size')
plt.show()

运行结果：

画出代价随迭代次数变化的曲线图

# 每个训练迭代中输出一个代价的向量
fig, ax = plt.subplots(figsize=(8,4))
ax.plot(np.arange(epoch), cost, 'r')  # np.arange()返回等差数组
ax.set_xlabel('Iterations')
ax.set_ylabel('Cost')
ax.set_title('Error vs. Training Epoch')
plt.show()

运行结果图：

由图可知，随着迭代的次数增加，代价越来越小，即误差越来越小，函数逐渐收敛。
参考链接：吴恩达机器学习作业

单变量线性回归实验分析相关推荐

R使用lm构建单变量线性回归模型
R使用lm构建单变量线性回归模型回归分析是一种应用非常广泛的统计工具,用来建立两个变量之间的关系模型(单变量回归分析).其中一个变量被称为预测变量(predictor variable),它的值是通 ...
【吴恩达机器学习】学习笔记——2.1单变量线性回归算法
1 回顾 1.1 监督学习定义:给定正确答案的机器学习算法分类: (1)回归算法:预测连续值的输出,如房价的预测 (2)分类算法:离散值的输出,如判断患病是否为某种癌症 1.2 非监督学习定义: ...
单变量线性回归模型_了解如何为单变量模型选择效果最好的线性回归
单变量线性回归模型 by Björn Hartmann 比约恩·哈特曼(BjörnHartmann) 找出哪种线性回归模型最适合您的数据 (Find out which linear regressi ...
吴恩达《机器学习》学习笔记二——单变量线性回归
吴恩达<机器学习>学习笔记二--单变量线性回归一. 模型描述二. 代价函数 1.代价函数和目标函数的引出 2.代价函数的理解(单变量) 3.代价函数的理解(两个参数) 三. 梯度下降- ...
【Machine Learning 二】单变量线性回归，代价函数，梯度下降
吴恩达机器学习笔记整理--单变量线性回归通过模型分析,拟合什么类型的曲线. 一.基本概念 1.训练集由训练样例(training example)组成的集合就是训练集(training set), ...
吴恩达机器学习笔记 1单变量线性回归
机器学习 (小白通俗理解) 机器学习包括监督学习和无监督学习监督学习首先,监督学习,我们所给的数据集由正确答案组成,计算机根据正确数据集对未知样本进行结果预测无监督学习无监督学习,所给数据集并 ...
吴恩达机器学习之单变量线性回归理论部分
理论部分 1.方程形式在进行数据处理过程中,有时数据图像可拟合成单变量线性函数,即 2.如何拟合此时,我们虽知道拟合函数的形式,但如何拟合仍是个问题,怎样拟合可以最接近实际数据情况呢? 最小二乘法 ...
python装饰器带参数函数二阶导数公式_机器学习【二】单变量线性回归
吴恩达机器学习笔记整理--单变量线性回归通过模型分析,拟合什么类型的曲线. 一.基本概念 1.训练集由训练样例(training example)组成的集合就是训练集(training set), ...
机器学习之八大算法②and①——多变量线性回归(单变量线性回归)
分析线性回归分为单变量线性回归.多变量线性回归区别多变量比单变量多个特征缩放代码及注释 import numpy as np import matplotlib.pyplot as plt# ...