回归是统计学中最有力的工具之一。机器学习监督学习算法分为分类算法和回归算法两种，其实就是根据类别标签分布类型为离散型、连续性而定义的。顾名思义，分类算法用于离散型分布预测，如前面讲过的KNN、决策树、朴素贝叶斯、adaboost、SVM、Logistic回归都是分类算法；回归算法用于连续型分布预测，针对的是数值型的样本，使用回归，可以在给定输入的时候预测出一个数值，这是对分类方法的提升，因为这样可以预测连续型数据而不仅仅是离散的类别标签。

回归的目的就是建立一个回归方程用来预测目标值，回归的求解就是求这个回归方程的回归系数。预测的方法当然十分简单，回归系数乘以输入值再全部相加就得到了预测值。

这里说一下线性回归模型。

1、若X与y之间存在着较强的相关关系，则有y=a+bX+c.

2、若a与b的值已知，则给出相应的X值。我们可以得到相应的y的预测值。

参数：

截距项a

斜率b

误差项c

例子:商品销量s关于电视广告费用t的回归方程:s=10+3.4*t(单位:万元)

接下来为带来的一个关于买房子的例子。注：这个例子出处：http://Python.jobbole.com/81215/  ，并非我的原创，这里给出链接。我不过添加了一些注释和总结，希望大家珍惜原创。

1) 预测房子价格

我们想预测特定房子的价值，预测依据是房屋面积。

我们有下面的数据集：

输入编号

平方英尺

价格

1

150

6450

2

200

7450

3

250

8450

4

300

9450

5

350

11450

6

400

15450

7

600

18450

步骤1：在线性回归中，我们都知道必须在数据中找出一种线性关系，以使我们可以得到a和b。

我们的假设方程式如下所示：

y(X)=a+bX

其中： y(X)是关于特定平方英尺的价格值(我们要预测的值)，意思是价格是平方英尺的线性函数； a是一个常数； b是回归系数。那么现在开始编程：

打开你最喜爱的文本编辑器，并命名为predict_house_price.py。我们在我们的程序中要用到下面的包，所以把下面代码复制到predict_house_price.py文件中去。

# Required Packages

import matplotlib.pyplot as plt

import numpy as np

import pandas as pd

from sklearn import datasets, linear_model运行一下你的代码。如果你的程序没错，那步骤1基本做完了。如果你遇到了某些错误，这意味着你丢失了一些包。这时需要安装这些包。这里我假设现在你的程序没错了，我们继续……

步骤2

我把数据存储成一个.csv文件，名字为input_data.csv 所以让我们写一个函数把数据转换为X值(平方英尺)、Y值(价格)。这一步很简单的，可以先用Excel来存储数据，记得写上列名。之后保存的时候另存为cvs格式即可。

# Function to get data

def get_data(file_name):

data = pd.read_csv(file_name)  #here ,use pandas to read cvs file.

X_parameter = []

Y_parameter = []

for single_square_feet ,single_price_value in zip(data['square_feet'],data['price']):#遍历数据，

X_parameter.append([float(single_square_feet)])#存储在相应的list列表中

Y_parameter.append(float(single_price_value))

return X_parameter,Y_parameter

第3行：将.csv数据读入Pandas数据帧。第6-9行：把Pandas数据帧转换为X_parameter和Y_parameter数据，并返回他们。所以，让我们把X_parameter和Y_parameter打印出来：

[[150.0], [200.0], [250.0], [300.0], [350.0], [400.0], [600.0]]

[6450.0, 7450.0, 8450.0, 9450.0, 11450.0, 15450.0, 18450.0]

步骤3

现在让我们把X_parameter和Y_parameter拟合为线性回归模型。我们要写一个函数，输入为X_parameters、Y_parameter和你要预测的平方英尺值，返回a、b和预测出的价格值。这里使用的是scikit-learn机器学习算法包。该算法包是目前python实现的机器算法包最好的一个。

#Function for Fitting our data to Linear model

def linear_model_main(X_parameters,Y_parameters,predict_value):

# Create linear regression object

regr = linear_model.LinearRegression()

regr.fit(X_parameters, Y_parameters)   #train model

predict_outcome = regr.predict(predict_value)

predictions = {}

predictions['intercept'] = regr.intercept_

predictions['coefficient'] = regr.coef_

predictions['predicted_value'] = predict_outcome

return predictions

第5-6行：首先，创建一个线性模型，用我们的X_parameters和Y_parameter训练它。第8-12行：我们创建一个名称为predictions的字典，存着a、b和预测值，并返回predictions字典为输出。所以让我们调用一下我们的函数，要预测的平方英尺值为700。

X,Y = get_data('input_data.csv')

predictvalue = 700

result = linear_model_main(X,Y,predictvalue)

print "Intercept value " , result['intercept']

print "coefficient" , result['coefficient']

print "Predicted value: ",result['predicted_value']

脚本输出：Intercept

value 1771.80851064 coefficient [ 28.77659574] Predicted value: [ 21915.42553191] [Finished in 0.7s]

这里，Intercept value(截距值)就是a的值，coefficient value(系数)就是b的值。 我们得到预测的价格值为21915.4255——意味着我们已经把预测房子价格的工作做完了！为了验证，我们需要看看我们的数据怎么拟合线性回归。所以我们需要写一个函数，输入为X_parameters和Y_parameters，显示出数据拟合的直线。

# Function to show the resutls of linear fit model

def show_linear_line(X_parameters,Y_parameters):

# Create linear regression object

regr = linear_model.LinearRegression()

regr.fit(X_parameters, Y_parameters)

plt.scatter(X_parameters,Y_parameters,color='blue')

plt.plot(X_parameters,regr.predict(X_parameters),color='red',linewidth=4)

plt.xticks(())

plt.yticks(())

plt.show()

那么调用一下show_linear_line函数吧：show_linear_line(X,Y)

脚本输出：

后话：这里使用的是scikit-learn机器学习算法包。该算法包是目前python实现的机器算法包最好的一个。本文的代码我都亲测通过了。下一次我会总结多元线性回归的算法实现。