上周有某高校老师来我们公司进行培训，公司安排我上了两天课。最后一天是一个数据分析的小案例，这里记录分享一下，比较适合刚入门的小白练手。

大概的逻辑是这样的：利用Scrapy爬取了链家的2900余条成都二手房的数据，然后基于这些数据做了一些关于房屋价格、区域、户型、房屋数量等方面的分析。

在分析之前呢，数据已经爬取好了，存到了Excel当中，所以这里就不演示爬虫部分，只进行分析部分的说明。但是需要看一下爬取的都是哪些字段

接下来就正式进入分析部分。首先导入必要的库，并做一部分设置：

import reimport pandas as pdimport seaborn as snsimport matplotlib.pyplot as plt

# 指定画布风格plt.style.use("fivethirtyeight")

# Mac环境下设置中文字体plt.rcParams['font.family'] = ['Arial Unicode MS'] #用来正常显示中文标签plt.rcParams['axes.unicode_minus'] = False #用来正常显示负号sns.set_style({'font.sans-serif':['Arial Unicode MS','Arial']})

# Windows环境下设置中文字体# sns.set_style({'font.sans-serif':['simhei','Arial']})

# 如果代码不在jupyter中执行，可以删掉%matplotlib inline

我用的IDE是jupyter lab，分析部分主要使用pandas库，绘图部分用到了matplotlib和seaborn，在后面进行数据预处理部分我们需要用到正则表达式，所以同时导入re模块。

接下来为了美化图片我们统一设置了画布风格，同时为了在图片中正常显示中文做了字体设置。

然后就可以导入我们的数据了。需要说明的是我是将爬取的数据保存在同级目录下名为house.xlsx的文件中。

house_df = pd.read_excel('house.xlsx')# 看一下数据长什么样子house_df.head()

输出：

因为字段太多，所以字段显示不完整，但是可以大概了解一下。

查看一下缺失值的情况

# 查看确实值情况house_df.info()

输出：

我们可以看到有些字段是2993行，有些字段是2895行，甚至还有2890行。 这说明我们的数据中有缺失值存在，我们需要做的就是过滤掉缺失值。

house_df.dropna(inplace=True)house_df.info()

过滤掉缺失值之后，再看一下

现在所有字段都是2886行，可以进行下一步了。
由于目前的数据中，很多字段都是带单位的字符串类型，我们需要做的是将它们转换为不带单位的字符串类型，这样的话有助于我们后续的分析。

# 做一部分预处理house_df['houseTotalMoney'] = house_df['houseTotalMoney'].apply(lambda x: float(x.replace('万', '')))house_df['houseSinglePrice'] = house_df['houseSinglePrice'].apply(lambda x: float(x.replace('元/平米', '')))house_df['houseDownPayment'] = house_df['houseDownPayment'].apply(lambda x: float(x.replace('万', '')))house_df['houseBuildingArea'] = house_df['houseBuildingArea'].apply(lambda x: float(x.replace('㎡', '')))house_df['totalFloor'] = house_df['houseFloor'].apply(lambda x:re.search('\d+', x).group())

在上面的代码中，我们去掉了houseTotalMoney、houseSinglePrice、houseDownPayment、houseBuildingArea四个字段的单位，并将其转换为float类型。 最后一行中我们提取了houseFloor字段中的数字来表示房屋总楼层，保存到house_df的totalFloor列中。
    然后我们再做一个小处理，从houseLocation字段中提取行政区信息，然后保存到Region列中。

# houseLocation字段表示区域，我们取前两个字，然后方便分区统计house_df['Region'] = house_df['houseLocation'].apply(lambda x:x.split('/')[0])

看一下整体统计信息

# 再次观察有异常值house_df.describe() # houseNumber为房屋编号 不用管

输出：

我们看到总价的平均值是143.65万，最便宜的是32万（有可能是老房子、公寓之类的，正常），最贵的是1100万。 单价方面，均价是15685元/平米，最便宜的是5129元/平米，最贵的是44846元/平米。
    
    现在正式进入可视化阶段。

首先我们看一下单价、房屋数量、总价和行政区的关系

# 按区域分析数量和价格df_house_count = house_df.groupby('Region')['houseId'].count().sort_values(ascending=False).to_frame().reset_index().reindex(['Region', 'Count'], axis=1)df_house_mean = house_df.groupby('Region')['houseSinglePrice'].mean().sort_values(ascending=False).to_frame().reset_index()

f, [ax1, ax2, ax3] = plt.subplots(3, 1, figsize=(12, 18))sns.barplot(x='Region', y='houseSinglePrice', palette='Blues_d', data=df_house_mean, ax=ax1)ax1.set_title('成都各区二手房每平米单价对比')ax1.set_xlabel('区域')ax1.set_ylabel('每平米单价')

sns.barplot(x='Region', y='Count', palette='Greens_d', data=df_house_count, ax=ax2)ax2.set_title('成都各区二手房数量对比')ax2.set_xlabel('区域')ax2.set_ylabel('数量')

sns.boxplot(x='Region', y='houseTotalMoney', data=house_df, ax=ax3)ax3.set_title('成都各区二手房房屋总价')ax3.set_xlabel('区域')ax3.set_ylabel('房屋总价')

plt.savefig('images/img1')plt.show()

输出：

看一下房屋面积的分布情况，还有面积和总价的相关性

f, [ax1,ax2] = plt.subplots(1, 2, figsize=(16, 6))# 房屋面积sns.distplot(house_df['houseBuildingArea'], ax=ax1, color='r')sns.kdeplot(house_df['houseBuildingArea'], shade=True, ax=ax1)ax1.set_xlabel('面积')

# 房屋面积和价格的关系sns.regplot(x='houseBuildingArea', y='houseTotalMoney', data=house_df, ax=ax2)ax2.set_xlabel('面积')ax2.set_ylabel('总价')

plt.savefig('images/img2')plt.show()

输出：

看一下户型的数量情况

f, ax1 = plt.subplots(figsize=(12,12))sns.countplot(y='houseType', data=house_df, ax=ax1)ax1.set_title('房屋户型', fontsize=15)ax1.set_xlabel('数量')ax1.set_ylabel('户型')

plt.show()

输出：

看一下装修情况

f, [ax1,ax2,ax3] = plt.subplots(1, 3, figsize=(20, 5))sns.countplot(house_df['houseDecoration'], ax=ax1)sns.barplot(x='houseDecoration', y='houseTotalMoney', data=house_df, ax=ax2)sns.boxplot(x='houseDecoration', y='houseTotalMoney', data=house_df, ax=ax3)

plt.savefig('images/img4')plt.show()

输出：

看一下电梯的情况

统计电梯信息之前我们先做一下词频统计：

house_df['houseElevator'].value_counts()

输出：

我们看到有179套是“暂无数据”，对于这种情况我们就需要处理一下了。具体的处理方法有很多种，要根据不同的场景去选择，我们这里只是为了学习，可以粗暴一点，直接过滤掉，不让其参与计算。

elevator_df = house_df[house_df['houseElevator'] != '暂无数据']elevator_df['houseElevator'].value_counts()

输出：

开始绘图：

f, [ax1, ax2] = plt.subplots(1, 2, figsize=(16, 8))sns.countplot(elevator_df['houseElevator'], ax=ax1)ax1.set_title('有无电梯数量对比', fontsize=15)ax1.set_xlabel('是否有电梯')ax1.set_ylabel('数量')

sns.barplot(x='houseElevator', y='houseSinglePrice', data=elevator_df, ax=ax2)ax2.set_title('有无电梯房价对比')ax2.set_xlabel('是否有电梯')ax2.set_ylabel('单价')

plt.savefig('images/img5')plt.show()

输出：

最后来看一下总楼层的数量情况

f, ax1 = plt.subplots(figsize=(20,5))sns.countplot(x='totalFloor', data=house_df, ax=ax1)ax1.set_title('房屋楼层',fontsize=15)ax1.set_xlabel('总楼层')ax1.set_ylabel('数量')

plt.savefig('images/img6')plt.show()

输出：

以上只是一个学习用的简单例子，如果要在生产环境中使用的话还需要做一部分改动。比如涉及到两次缺失值的处理问题，要根据具体的情况去选择相应的方法；比如对于统计的图表选择也要根据具体的业务场景去选择；而且我们这个案例中是没有涉及到异常值的处理，实际上房屋价格是存在异常值的——20多万的房子肯定是不存在的，我怀疑是车位的交易信息。

以上所有代码（包括爬虫部分）已上传至GitHub，地址为https://github.com/Y-sir/Lianjia_analysis。