python安装

从Python官网下载Python 3.8安装

库安装

numpy

Pandas

matplotlib

seaborn seadron 详细入门https://cloud.tencent.com/developer/article/1651107https://cloud.tencent.com/developer/article/1651107seadron 详细https://www.jianshu.com/p/a33c5f18df68https://www.jianshu.com/p/a33c5f18df68

导包

import numpy as np
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt

本地数据打开

pandas读写文本格式的数据

找好源文件的path, 这里注意的是在Python中‘ / ’是转义符，所以如果path的时候用的是 / 的话，前面就要加个r，这样python就能辨别出这里并不是转义符的用法。Python常用的描述路径有一下三种方式：

Pandas库

Series

DataFrame

针对切取出来的数据，先进行几个描述统计。

描述性统计

使用的函数：

value_counts( ) 是计数，统计所有非零元素的个数，以降序的方式输出Series

describe( ), 能快速生成各类统计指标

总结：一般分类数据用value_counts，数值数据用describe，这是最常用的两个统计函数。

Pandas库

Pandas

统计分析、相关分析

适用于Series和DataFrame的基本统计分析函数：传入axis='columns'或axis=1将会按行进行运算。
.describe()：针对各列的多个统计汇总，用统计学指标快速描述数据的概要。
.sum()：计算各列数据的和
.count()：非NaN值的数量
.mean( )/.median()：计算数据的算术平均值、算术中位数
.var()/.std()：计算数据的方差、标准差
.corr()/.cov()：计算相关系数矩阵、协方差矩阵，是通过参数对计算出来的。Series的corr方法用于计算两个Series中重叠的、非NA的、按索引对齐的值的相关系数。DataFrame的corr和cov方法将以DataFrame的形式分别返回完整的相关系数或协方差矩阵。
.corrwith()：利用DataFrame的corrwith方法，可以计算其列或行跟另一个Series或DataFrame之间的相关系数。传入一个Series将会返回一个相关系数值Series（针对各列进行计算），传入一个DataFrame则会计算按列名配对的相关系数。
.min()/.max()：计算数据的最小值、最大值
.diff()：计算一阶差分，对时间序列很有效
.mode()：计算众数，返回频数最高的那（几）个
.mean()：计算均值
.quantile()：计算分位数（0到1）
.isin()：用于判断矢量化集合的成员资格，可用于过滤Series中或DataFrame列中数据的子集

适用于Series的基本统计分析函数，DataFrame[列名]返回的是一个Series类型。
.unique()：返回一个Series中的唯一值组成的数组。
.value_counts()：计算一个Series中各值出现的频率。
.argmin()/.argmax()：计算数据最大值、最小值所在位置的索引位置（自动索引）
.idxmin()/.idxmax()：计算数据最大值、最小值所在位置的索引（自定义索引）

自定义操作

apply() #调用自定义方法(自己写的函数)

自定义函数样本

异常值

组别对象数据结构的属性和方法

• groups # 返回各组别数据的索引值
• first() # 返回各组别里的第一条数据形成新数据
• last() # 返回各组别里最后一条数据形成新数据
• nth(n) # 返回各组别里第n-1条数据形成新数据
• head(n) # 返回各组数据的前n条数据
• tail(n)

• get_group('group-name') # 取得某一组别数据

聚合操作

• sum()
• mean()
• get_group().loc[] # 取得某组里的某索引值下的数据
• max()
• min()

• agg() # 对各列进行各种方式统计计算

另外一种分析思路是对数据进行深加工

使用函数：

cut（）

延伸参考：数据分箱技术Binning_慕白博客-CSDN博客_binninghttps://blog.csdn.net/geekmubai/article/details/86676313

pandas数据处理实践四（时间序列date_range、数据分箱cut、分组技术GroupBy）_进击的菜鸟-CSDN博客https://blog.csdn.net/weixin_42398658/article/details/82936525

cut的作用是分桶，它也是数据分析常用的一种方法，将不同数据划分出不同等级，也就是将数值型数据加工成分类数据，在机器学习的特征工程中应用比较多。cut可以等距划分，传入一个数字就好。这里为了更好的区分，我传入了一组列表进行人工划分，加工成相应的标签。