Python数据分析工具

一、Python数据分析工具

![](https://img-blog.csdnimg.cn/20190417153008529.png?x-oss-
process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1X2x1bg==,size_16,color_FFFFFF,t_70)

二、数据探索

一、 对数据的质量分析

异常值的分析：

简单的统计量分析：查看最大最小值是否在合理范围

2.3δ原则，在正态分布下异常值被定义为一组定值与平均值的距离超过3倍的标准差。

3.箱形图分析：

异常值被定义为小于QL-1.5IQR 或大于QR+1.5IQR

QL是所有数据的下四分位，QR是所有数据的上四分位。IQR是QR-QL

DataFrame中describe()已经给出了基本的统计

二、 数据特征分析

可以使用pandas、matplotlib绘制统计图

散点图矩阵可以分析每两个变量的关系。

2 .计算相关系数

①Pearson相关系数

②Spearman秩相关系数

③判定系数

使用pandas的corr()计算相关系数

![](https://img-blog.csdnimg.cn/20190417163909487.png?x-oss-
process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1X2x1bg==,size_16,color_FFFFFF,t_70)

![](https://img-blog.csdnimg.cn/20190417164132451.png?x-oss-
process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1X2x1bg==,size_16,color_FFFFFF,t_70)

![](https://img-blog.csdnimg.cn/20190417164348178.png?x-oss-
process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1X2x1bg==,size_16,color_FFFFFF,t_70)

绘制条形图和折线图 ：

![](https://img-blog.csdnimg.cn/20190417164501898.png?x-oss-
process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1X2x1bg==,size_16,color_FFFFFF,t_70)

三、数据预处理

缺失：

![](https://img-blog.csdnimg.cn/20190417165230662.png?x-oss-
process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1X2x1bg==,size_16,color_FFFFFF,t_70)

插值法主要用两类：

拉格朗插值（python scipy库中有）、牛顿插值。

数据变换 ：

使用简单的函数如：x’=x^2 x’=sqrt(x) x’=log(x)

规范化 ：

①最小最大规范化

②零-均值规范化：将数据处理成均值为0，标准差为1

③小数定标规范化

连续属性离散化

数据规约 ：产生更小保持原数据完整性的新数据集。

主要方法有合并属性、决策树归纳、主成分分析

数值规约 ：？？？？

![](https://img-blog.csdnimg.cn/20190417171314588.png?x-oss-
process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1X2x1bg==,size_16,color_FFFFFF,t_70)

四、挖掘建模

1、分类预测

![](https://img-blog.csdnimg.cn/20190417171535248.png?x-oss-
process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1X2x1bg==,size_16,color_FFFFFF,t_70)

![](https://img-blog.csdnimg.cn/20190417172001812.png?x-oss-
process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1X2x1bg==,size_16,color_FFFFFF,t_70)

2、聚类分析

![](https://img-blog.csdnimg.cn/20190417171623241.png?x-oss-
process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1X2x1bg==,size_16,color_FFFFFF,t_70)

![](https://img-blog.csdnimg.cn/20190417171635711.png?x-oss-
process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1X2x1bg==,size_16,color_FFFFFF,t_70)

![](https://img-blog.csdnimg.cn/20190417171727520.png?x-oss-
process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1X2x1bg==,size_16,color_FFFFFF,t_70)