数据分析工具Pandas

数据分析工具Pandas
- 01 Pandas的数据结构分析
- - Series
- DataFrame
- 02 Pandas索引操作及高级索引
- - 索引对象
- 03 算术运算与数据对齐
- - 算术运算与数据对齐
- 04 数据排序
- - 按索引排序
  - 按值排序
- 05 统计计算与描述
- - 常用的统计计算
- 06 层次化索引
- - 认识层次化索引
- 07 读写数据操作
- - 读写文本文件
  - 读写数据库
- 本章小结
数据预处理
- 01 数据清洗
- - 空值和缺失值的处理
  - 重复值的处理
  - 异常值的处理
  - 更改数据类型
- 02 数据合并
- - 轴向堆叠数据
  - 主键合并数据
  - 根据行索引合并数据
  - 合并重叠数据
- 03 数据重塑
- - 重塑层次化索引
  - 轴向旋转
- 04 数据转换
- - 重命名轴索引
  - 离散化连续数据
  - 哑变量处理类别型数据
- 本章小结

数据分析工具Pandas

01 Pandas的数据结构分析

Series

Pandas的Series类对象可以使用以下构造方法创建：

class pandas.Series（data = None，index = None，dtype = None，
name = None，copy = False，fastpath = False）

注释：
data：表示传入的数据。
index：表示索引，唯一且与数据长度相等，默认会自动创建一个从0~N的整数索引。

# 创建Series类对象
ser_obj = pd.Series([1, 2, 3, 4, 5])
# 创建Series类对象，并指定索引
ser_obj = pd.Series([1, 2, 3, 4, 5], index=['a', 'b', 'c', 'd', 'e'])

除了使用列表构建Series类对象外，还可以使用dict进行构建。

year_data = {2001: 17.8, 2002: 20.1, 2003: 16.5}
ser_obj2 = pd.Series(year_data)

为了能方便地操作Series对象中的索引和数据，所以该对象提供了两个属性index和values分别进行获取

#获取ser_obj的索引
ser_obj.index
#获取ser_obj的数据
ser_obj.values

DataFrame

注：DataFrame是一个类似于二维数组或表格（如excel）的对象，它每列的数据可以是不同的数据类型

Pandas的DataFrame类对象可以使用以下构造方法创建：

pandas.DataFrame（data = None，index = None，columns = None，
dtype = None，copy = False ）

index：表示行标签。若不设置该参数，则默认会自动创建一个从0~N的整数索引。
columns：列标签。

# 创建数组
demo_arr = np.array([['a', 'b', 'c'], ['d', 'e', 'f']])
# 基于数组创建DataFrame对象
df_obj = pd.DataFrame(demo_arr)
#在创建DataFrame类对象时，如果为其指定了列索引，则DataFrame的列会按照指定索引的顺序进行排列。
df_obj = pd.DataFrame(demo_arr, columns=['No1', 'No2', 'No3'])

我们可以使用列索引的方式来获取一列数据，返回的结果是一个Series对象。

# 通过列索引的方式获取一列数据
element = df_obj['No2']
# 查看返回结果的类型
type(element)

要想为DataFrame增加一列数据，则可以通过给列索引或者列名称赋值的方式实现。

# 增加No4一列数据
df_obj['No4'] = ['g', 'h']

要想删除某一列数据，则可以使用del语句实现。

# 删除No3一列数据
del df_obj['No3']

02 Pandas索引操作及高级索引

索引对象

Pandas中的索引都是Index类对象，又称为索引对象，该对象是不可以进行修改的，以保障数据的安全。
Pandas还提供了很多Index的子类，常见的有如下几种：
（1）Int64Index：针对整数的特殊Index对象。
（2）MultiIndex：层次化索引，表示单个轴上的多层索引。
（3）DatetimeIndex：存储纳秒寄时间戳。

Pandas中提供了一个重要的方法是reindex()，该方法的作用是对原索引和新索引进行匹配，也就是说，新索引含有原索引的数据，而原索引数据按照新索引排序。
如果新索引中没有原索引数据，那么程序不仅不会报错，而且会添加新的索引，并将值填充为NaN或者使用fill_vlues()填充其他值。

DataFrame.reindex（labels = None，index = None，
columns = None，axis = None，method = None，
copy = True，level = None，fill_value = nan，limit = None，tolerance = None ）

注释：
index：用作索引的新序列。
method：插值填充方式。
fill_value：引入缺失值时使用的替代值。
limit：前向或者后向填充时的最大填充量。
如果不想填充为NaN，则可以使用fill_value参数来指定缺失值。

ser_obj.reindex(['a', 'b', 'c', 'd', 'e', 'f'],fill_value = 6)

如果期望使用相邻的元素值进行填充，则可以使用method参数，该参数对应的值有多个

Series有关索引的用法类似于NumPy数组的索引，只不过Series的索引值不只是整数。如果我们希望获取某个数据，既可以通过索引的位置来获取，也可以使用索引名称来获取。

ser_obj = pd.Series([1, 2, 3, 4, 5], index=['a', 'b', 'c', 'd', 'e'])
ser_obj[2]    # 使用索引位置获取数据
ser_obj['c']   # 使用索引名称获取数据

如果使用的是位置索引进行切片，则切片结果是不包含结束位置；如果使用索引名称进行切片，则切片结果是包含结束位置的。

ser_obj[2: 4]           # 使用位置索引进行切片
ser_obj['c': 'e']        # 使用索引名称进行切片

如果希望获取的是不连续的数据，则可以通过不连续索引来实现。

# 通过不连续位置索引获取数据集
ser_obj[[0, 2, 4]]
# 通过不连续索引名称获取数据集
ser_obj[['a', 'c', 'd']]

布尔型索引同样适用于Pandas，具体的用法跟数组的用法一样，将布尔型的数组索引作为模板筛选数据，返回与模板中True位置对应的元素。

# 创建布尔型Series对象
ser_bool = ser_obj > 2
# 获取结果为True的数据ser_obj[ser_bool]

DataFrame结构既包含行索引，也包含列索引。其中，行索引是通过index属性进行获取的，列索引是通过columns属性进行获取的。

虽然DataFrame操作索引能够满足基本数据查看请求，但是仍然不够灵活。为此，Pandas库中提供了操作索引的方法来访问数据，具体包括：
loc：基于标签索引（索引名称），用于按标签选取数据。当执行切片操作时，既包含起始索引，也包含结束索引。
iloc：基于位置索引（整数索引），用于按位置选取数据。当执行切片操作时，只包含起始索引，不包含结束索引。

03 算术运算与数据对齐

算术运算与数据对齐

Pandas执行算术运算时，会先按照索引进行对齐，对齐以后再进行相应的运算，没有对齐的位置会用NaN进行补齐

如果希望不使用NAN填充缺失数据，则可以在调用add方法时提供fill_value参数的值，fill_value将会使用对象中存在的数据进行补充

# 执行加法运算，补充缺失值
obj_one.add(obj_two, fill_value = 0)

04 数据排序

按索引排序

Pandas中按索引排序使用的是sort_index()方法，该方法可以用行索引或者列索引进行排序。

sort_index（axis = 0，level = None，ascending = True，inplace = False，kind =' quicksort '，na_position ='last'，sort_remaining = True ）

注释：
axis：轴索引，0表示index（按行），1表示columns（按列）。
level：若不为None，则对指定索引级别的值进行排序。
ascending：是否升序排列，默认为True表示升序。

ser_obj = pd.Series(range(10, 15), index=[5, 3, 1, 3, 2])
# 按索引进行升序排列
ser_obj.sort_index()
# 按索引进行降序排列
ser_obj.sort_index(ascending = False)

df_obj = pd.DataFrame(np.arange(9).reshape(3, 3), index=[4, 3, 5])
# 按行索引升序排列
df_obj.sort_index()
# 按行索引降序排列
df_obj.sort_index(ascending=False)

按值排序

Pandas中用来按值排序的方法为sort_values()，该方法的语法格式如下

sort_values(by,axis=0, ascending=True, inplace=False, kind='quicksort',na_position='last')

by参数表示排序的列，na_position参数只有两个值：first和last，若设为first，则会将NaN值放在开头；若设为False，则会将NaN值放在最后。
ser_obj = pd.Series([4, np.nan, 6, np.nan, -3, 2])

# 按值升序排列
ser_obj.sort_values()

在DataFrame中，sort_values()方法可以根据一个或多个列中的值进行排序，但是需要在排序时，将一个或多个列的索引传递给by参数才行

df_obj = pd.DataFrame([[0.4, -0.1, -0.3, 0.0], [0.2, 0.6, -0.1, -0.7],[0.8, 0.6, -0.5, 0.1]])
# 对列索引值为2的数据进行排序
df_obj.sort_values(by=2)

05 统计计算与描述

常用的统计计算

如果希望一次性输出多个统计指标，则我们可以调用describe()方法实现，语法格式如下

describe(percentiles=None, include=None, exclude=None)

注释：
percentiles：输出中包含的百分数，位于[0,1]之间。如果不设置该参数，则默认为[0.25,0.5,0.75]，返回25%，50%，75%分位数。

06 层次化索引

认识层次化索引

Series和DataFrame均可以实现层次化索引，最常见的方式是在构造方法的index参数中传入一个嵌套列表

 mulitindex_series = pd.Series([15848,13472,12073.8,7813,7446,6444,15230,8269],index=[['河北省','河北省','河北省','河北省','河南省','河南省','河南省','河南省'],['石家庄市','唐山市','邯郸市','秦皇岛市','郑州市','开封市','洛阳市','新乡市']])

还可以通过MultiIndex类的方法构建一个层次化索引，该类提供了3种创建层次化索引的方法：
MultiIndex.from_tuples()：将元组列表转换为MultiIndex。
MultiIndex.from_arrays()：将数组列表转换为MultiIndex。
MultiIndex.from_product()：从多个集合的笛卡尔乘积中创建一个MultiIndex。
1.from_tuples()方法可以将包含若干个元组的列表转换为MultiIndex对象，其中元组的第一个元素作为外层索引，元组的第二个元素作为内层索引。

list_tuples = [('A','A1'), ('A','A2'), ('B','B1'),('B','B2'), ('B','B3')]
# 根据元组列表创建一个MultiIndex对象
multi_index = MultiIndex.from_tuples(tuples=list_tuples, names=[ '外层索引', '内层索引'])

2.from_arrays()方法是将数组列表转换为MultiIndex对象，其中嵌套的第一个列表将作为外层索引，嵌套的第二个列表将作为内层索引。

multi_array = MultiIndex.from_arrays(arrays =[['A', 'B', 'A', 'B', 'B'], ['A1', 'A2', 'B1', 'B2', 'B3']],names=['外层索引','内层索引'])

3.from_product()方法表示从多个集合的笛卡尔乘积中创建一个MultiIndex对象。

numbers = [0, 1, 2]
colors = ['green', 'purple']
multi_product = pd.MultiIndex.from_product(iterables=[numbers, colors], names=['number', 'color'])

根据书籍统计表，创建一个具有多层索引的Series对象，示例如下：

ser_obj = Series([50, 60, 40, 94, 63, 101, 200, 56, 45],index=[['小说', '小说', '小说','散文随笔', '散文随笔', '散文随笔','传记', '传记', '传记'],['高山上的小邮局', '失踪的总统', '绿毛水怪','皮囊', '浮生六记', '自在独行','梅西', '老舍自传', '库里传']])

如果商城管理员需要统计小说销售的情况，则可以从表中筛选出外层索引标签为小说的数据。

# 获取所有外层索引为“小说”的数据
ser_obj['小说']

假设当前只知道书名为“自在独行”，但所属的类别和销售数量并不清楚，则需要操作内层索引获取该书籍的类别与销售数量。

# 获取内层索引对应的数据
ser_obj[:,'自在独行']

交换分层顺序是指交换外层索引和内层索引的位置。

在Pandas中，交换分层顺序的操作可以使用swaplevel()方法来完成。

# 交换外层索引与内层索引位置
ser_obj.swaplevel()

要想按照分层索引对数据排序，则可以通过**sort_index()**方法实现。

sort_index（axis = 0，level = None，ascending = True，inplace = False，kind =' quicksort '，na_position ='last'，
sort_remaining = True，by = None ）

注释：
by：表示按指定的值排序。
ascending：布尔值，表示是否升序排列，默认为True。

在使用sort_index()方法排序时，会优先选择按外层索引进行排序，然后再按照内层索引进行排序。

07 读写数据操作

读写文本文件

to_csv()方法的功能是将数据写入到CSV文件中

to_csv(path_or_buf=None,sep=',',na_rep='',float_format=None,columns=None,header=True, index=True, index_label=None, mode='w‘, ...)

path_or_buf：文件路径。
index：默认为True，若设为False，则将不会显示索引。
sep：分隔符，默认用“，”隔开。

read_csv()函数的作用是将CSV文件的数据读取出来，转换成DataFrame对象展示。

read_csv(filepath_or_buffer,sep=',', delimiter=None, header='infer', names=None, index_col=None, usecols=None, prefix=None, ...)

注释：
sep：指定使用的分隔符，默认用“，”分隔。
header：指定行数用来作为列名。
names：用于结果的列名列表。如果文件不包含标题行，则应该将该参数设置为None

注：Text格式的文件也是比较常见的存储数据的方式，后缀名为".txt"，它与上面提到的CSV文件都属于文本文件。

如果希望读取Text文件，既可以用前面提到的read_csv()函数，也可以使用read_table()函数

注：read_csv()与read_table()函数的区别在于使用的分隔符不同，前者使用“，”作为分隔符，而后者使用“\t”作为分隔符。

to_excel()方法的功能是将DataFrame对象写入到Excel工作表中

to_excel(excel_writer,sheet_name='Sheet1',na_rep='',
float_format=None, columns=None, header=True, index=True, ...)

注释：
excel_writer：表示读取的文件路径。
sheet_name：表示工作表的名称，默认为“Sheet1”。
na_rep：表示缺失数据。
index：表示是否写行索引，默认为True。

read_excel()函数的作用是将Excel中的数据读取出来，转换成DataFrame展示。

pandas.read_excel(io,sheet_name=0,header=0,names=None,index_col=None, **kwds)

注释：
io：表示路径对象。
sheet_name：指定要读取的工作表，默认为0。
header：用于解析DataFrame的列标签。
names：要使用的列名称。

在浏览网页时，有些数据会在HTML网页中以表格的形式进行展示。

对于网页中的表格，可以使用read_html()函数进行读取，并返回一个包含多个DataFrame对象的列表。

pandas.read_html(io, match='.+', flavor=None,header=None, index_col=None,skiprows=None, attrs=None)

注释：
io：表示路径对象。
header：表示指定列标题所在的行。
index_col：表示指定行标题对应的列。
attrs：默认为None，用于表示表格的属性值。

读写数据库

在连接mysql数据库时，这里使用的是mysqlconnector驱动，如果当前的Python环境中没有改模块，则需要使用pip install mysqlconnector命令安装该模块。
read_sql()函数既可以读取整张数据表，又可以执行SQL语句

pandas.read_sql(sql,con,index_col=None,coerce_float=True,params=None,parse_dates=None, columns=None, chunksize=None)

注释：sql：表示被执行的SQL语句。
con：接收数据库连接，表示数据库的连接信息。
columns：从SQL表中选择列名列表。

注：通过create_engine()函数创建连接时，需要指定格式如下：‘数据库类型+数据库驱动名称://用户名:密码@机器地址:端口号/数据库名’。

to_sql()方法的功能是将Series或DataFrame对象以数据表的形式写入到数据库中

to_sql（name，con，schema = None，if_exists ='fail'，index = True，index_label = None，chunksize = None，dtype = None ）

注释：name：表示数据库表的名称。
con: 表示数据库的连接信息。
if_exists：可以取值为fail、replace或append，默认为’fail’。

本章小结

数据预处理

01 数据清洗

空值和缺失值的处理

空值一般表示数据未知、不适用或将在以后添加数据。缺失值是指数据集中某个或某些属性的值是不完整的

注：一般空值使用None表示，缺失值使用NaN表示

Pandas中提供了一些用于检查或处理空值和缺失值的函数或方法。

使用isnull()和notnull()函数可以判断数据集中是否存在空值和缺失值。
对于缺失数据可以使用dropna()和fillna()方法对缺失值进行删除和填充。

pandas.isnull(obj)

注释：上述函数中只有一个参数obj，表示检查空值的对象。
isnull()函数会返回一个布尔类型的值，如果返回的结果为True，则说明有空值或缺失值，否则为False。（NaN或None映射到True值，其它内容映射到False）

notnull() 与isnull()函数的功能是一样的，都可以判断数据中是否存在空值或缺失值，不同之处在于，前者发现数据中有空值或缺失值时返回False，后者返回的是True。

series_obj = Series([1, None, NaN])
# 检查是否不为空值或缺失值
pd.notnull(series_obj)

dropna()方法的作用是删除含有空值或缺失值的行或列

dropna(axis=0, how='any', thresh=None, subset=None, inplace=False)

注释： axis：确定过滤行或列。
how：确定过滤的标准。
thresh：表示有效数据量的最小要求。若传入了2，则是要求该行或该列至少有两个非NaN值时将其保留。

删除空值或缺失值前后的效果如下图所示：

填充缺失值和空值的方式有很多种，比如人工填写、热卡填充等，Pandas中的fillna()方法可以实现填充空值或缺失值

fillna(value=None, method=None, axis=None, inplace=False,limit=None, downcast=None, **kwargs)

注释：value：用于填充的数值。
method：表示填充方式，默认值为None。
limit：可以连续填充的最大数量，默认None。

注：method参数不能与value参数同时使用

例：有一张表格里存在缺失值，如果使用常量66.0来替换缺失值，那么填充前后的效果如下图所示

通过fillna()方法填充常量的示例如下：

# 使用66.0替换缺失值
df_obj.fillna('66.0')

例：如果希望A列缺失的数据使用数字“4.0”进行填充，B列缺失的数据使用数字“5.0”来填充，那么填充前后的效果如下图所示。

通过fillna()方法对指定列进行填充的示例如下：

# 指定列填充数据
df_obj.fillna({'A': 4.0, 'B': 5.0})

例：如果希望A~D列中按从前往后的顺序填充缺失的数据，那么填充前后的效果如下图所示。

通过fillna()方法采用前向填充的方式替换空值或缺失值，示例如下：

# 使用前向填充的方式替换空值或缺失值
df.fillna(method='ffill')

重复值的处理

当数据中出现了重复值，在大多数情况下需要进行删除。

Pandas提供了两个函数专门用来处理数据中的重复值，分别为duplicated()和drop_duplicates()方法
duplicated()方法用于标记是否有重复值。
drop_duplicates()方法用于删除重复值。
它们的判断标准是一样的，即只要两条数据中所有条目的值完全相等，就判断为重复值。

duplicated()方法的语法格式如下：

duplicated(subset=None, keep='first')

注释：subset：用于识别重复的列标签或列标签序列，默认识别所有的列标签。
keep：删除重复项并保留第一次出现的项，取值可以为first、last或False。
注：duplicated()方法用于标记Pandas对象的数据是否重复，重复则标记为True，不重复则标记为False，所以该方法返回一个由布尔值组成的Series对象，它的行索引保持不变，数据则变为标记的布尔值。

对于duplicated()方法，这里有如下两点要进行强调：
（1）只有数据表中两个条目间所有列的内容都相等时，duplicated()方法才会判断为重复值。
（2）duplicated()方法支持从前向后(first)和从后向前(last)两种重复值查找模式，默认是从前向后查找判断重复值的。换句话说，就是将后出现的相同条目判断为重复值。

drop_duplicates()方法的语法格式如下：

drop_duplicates(subset=None, keep='first', inplace=False)

注释：上述方法中，inplace参数接收一个布尔类型的值，表示是否替换原来的数据，默认为False

异常值的处理

异常值是指样本中的个别值，其数值明显偏离它所属样本的其余观测值，这些数值是不合理的或错误的

要想确认一组数据中是否有异常值，则常用的检测方法有3σ原则（拉依达准则）和箱形图。

3σ原则是基于正态分布的数据检测，而箱形图没有什么严格的要求，可以检测任意一组数据
注：3σ原则，又称为拉依达原则，它是指假设一组检测数据只含有随机误差，对其进行计算处理得到标准偏差，按一定概率确定一个区间，凡是超过这个区间的误差都是粗大误差，在此误差的范围内的数据应予以剔除。

在正态分布概率公式中，σ表示标准差，μ表示平均数，f(x)表示正态分数函数，具体如下：

根据正态分布函数图可知，3σ原则在各个区间所占的概率如下所示：
（1）数值分布在（μ-σ,μ+σ)中的概率为0.682。
（2）数值分布在（μ-2σ,μ+2σ)中的概率为0.954。
（3）数值分布在（μ-3σ,μ+3σ)中的概率为0.997。

注：数值几乎全部集中在（μ-3σ,μ+3σ)]区间内，超出这个范围的可能性仅占不到0.3%。所以，凡是误差超过这个区间的就属于异常值，应予以剔除。

箱形图是一种用作显示一组数据分散情况的统计图。在箱形图中，异常值通常被定义为小于QL – 1.5QR或大于QU + 1.5IQR的值

（1）QL称为下四分位数，表示全部观察中四分之一的数据取值比它小；
（2）QU称为上四分位数，表示全部观察值中有四分之一的数据取值比它大；
（3）IQR称为四分位数间距，是上四分位数QU与下四分位数QL之差，其间包含了全部观察值的一半。

离散点表示的是异常值，上界表示除异常值以外数据中最大值；下界表示除异常值以外数据中最小值。

为了能够从箱形图中查看异常值，Pandas中提供了一个boxplot()方法，专门用来绘制箱形图。

从输出的箱形图中可以看出，D列的数据中有一个离散点，说明箱形图成功检测出了异常值。

检测出异常值后，通常会采用如下四种方式处理这些异常值：
直接将含有异常值的记录删除。
用具体的值来进行替换，可用前后两个观测值的平均值修正该异常值。
不处理，直接在具有异常值的数据集上进行统计分析。
视为缺失值，利用缺失值的处理方法修正该异常值。

如果希望对异常值进行修改，则可以使用replace()方法进行替换，该方法不仅可以对单个数据进行替换，也可以多个数据执行批量替换操作

replace（to_replace = None，value = None，inplace = False，limit = None，regex = False，method ='pad' ）

注释：to_replace：表示查找被替换值的方式。
value：用来替换任何匹配to_replace的值，默认值None。

更改数据类型

创建Pandas数据对象时，如果没有明确地指出数据的类型，则可以根据传入的数据推断出来，并且通过dtypes属性进行查看。

df = pd.DataFrame({'A': ['5', '6', '7'],'B': ['3', '2', '1']},dtype='int')
df.dtypes

通过astype()方法可以强制转换数据的类型。

astype（dtype，copy = True，errors ='raise'，** kwargs ）

注释：dtype：表示数据的类型。
errors：错误采取的处理方式，可以取值为raise或ignore。其中，raise表示允许引发异常，ignore表示抑制异常，默认为raise。

注：astype()方法存在着一些局限性，只要待转换的数据中存在非数字以外的字符，在使用astype()方法进行类型转换时就会出现错误，而to_numeric()函数的出现正好解决了这个问题。

to_numeric

pandas.to_numeric(arg, errors='raise', downcast=None)

注释：arg：表示要转换的数据，可以是list、tuple、Series。
errors：表示错误采取的处理方式。

02 数据合并

轴向堆叠数据

concat()函数可以沿着一条轴将多个对象进行堆叠，其使用方式类似数据库中的数据表合并。

concat(objs,axis=0,join=‘outer’,join_axes=None,ignore_index=False,keys=None,levels=None,names=None, ...)

axis：表示连接的轴向，可以为0或1，默认为0。
join：表示连接的方式，inner表示内连接，outer表示外连接，默认使用外连接。
ignore_index：如果设置为True，清除现有索引并重置索引值。
names：结果分层索引中的层级的名称。

注：根据轴方向的不同，可以将堆叠分成横向堆叠与纵向堆叠，默认采用的是纵向堆叠方式。

在堆叠数据时，默认采用的是外连接（join参数设为outer）的方式进行合并，当然也可以通过join=inner设置为内连接的方式。

当使用concat()函数合并时，若是将axis参数的值设为1，且join参数的值设为outer，代表着使用横向堆叠与外连接的方式进行合并。

当使用concat()函数合并时，若是将axis参数的值设为0，且join参数的值设为inner，则代表着使用纵向堆叠与内连接的方式进行合并。

主键合并数据

主键合并类似于关系型数据库的连接方式，它是指根据一个或多个键将不同的DatFrame对象连接起来，大多数是将两个DatFrame对象中重叠的列作为合并的键。

Pandas中提供了用于主键合并的merge()函数。

pandas.merge(left, right, how='inner', on=None, left_on=None,
right_on=None, left_index=False, right_index=False, sort=False,
suffixes=('_x', '_y'), copy=True, indicator=False, validate=None)

注释： left：参与合并的左侧DataFrame对象。
right：参与合并的右侧DataFrame对象。
how：表示连接方式，默认为inner。

left：使用左侧的DataFrame的键，类似SQL的左外连接。
right：使用右侧的DataFrame的键，类似SQL的右外连接。
outer：使用两个DataFrame所有的键，类似SQL的全连接。
inner：使用两个DataFrame键的交集，类似SQL的内连接

在使用merge()函数进行合并时，默认会使用重叠的列索引做为合并键，并采用内连接方式合并数据，即取行索引重叠的部分。

除此之外，merge()函数还支持对含有多个重叠列的DataFrame对象进行合并。

使用外连接的方式将left与right进行合并时，列中相同的数据会重叠，没有数据的位置使用NaN进行填充。

左连接是以左表为基准进行连接，所以left表中的数据会全部显示，right表中只会显示与重叠数据行索引值相同的数据，合并后表中缺失的数据会使用NaN进行填充。

右连接与左连接的规则正好相反，右连接是以右表为基准，右表中的数据全部显示，而左表中显示与重叠数据行索引值相同的数据，合并后缺失的数据使用NaN填充合并。

假设两张表中的行索引与列索引均没有重叠的部分，但依旧可以使用merge函数来合并，只需要将参数left_index与right_index的值设置为True即可。

根据行索引合并数据

join()方法能够通过索引或指定列来连接多个DataFrame对象。

join（other，on = None，how ='left'，lsuffix =''，rsuffix =''，sort = False ）

注释：on：名称，用于连接列名。
how：可以从{’‘left’’ ,’‘right’’, ‘‘outer’’, ‘‘inner’’}中任选一个，默认使用左连接的方式。
sort：根据连接键对合并的数据进行排序，默认为False。

合并重叠数据

当DataFrame对象中出现了缺失数据，而我们希望使用其他DataFrame对象中的数据填充缺失数据，则可以通过combine_first()方法为缺失数据填充。

combine_first(other)

注：上述方法中只有一个参数other，该参数用于接收填充缺失值的DataFrame对象。

假设现在有left表与right表，其中left表中存在3个缺失的数据，而right表中的数据是完整的，并且right表与left表有相同的索引名，此时我们可以使用right表中的数据来填充left表的缺失数据，得到一个新的result表，

03 数据重塑

重塑层次化索引

Pandas中重塑层次化索引的操作主要是stack()方法和unstack()方法，前者是将数据的列“旋转”为行，后者是将数据的行“旋转”为列。

stack()方法可以将数据的列索引转换为行索引。

DataFrame.stack(level=-1, dropna=True)

注释：level：表示操作内层索引。若设为0，表示操作外层索引，默认为-1。dropna：表示是否将旋转后的缺失值删除，若设为True，则表示自动过滤缺失值，设置为False则相反。

现在有一个DataFrame类对象df，如果希望将它重塑为一个具有两层索引结构的对象result，也就是说将列索引转换成内层行索引，则重塑前后的效果如下图所示。

unstack()方法可以将数据的行索引转换为列索引。

DataFrame.unstack(level=-1, fill_value=None)

注释：level：默认为-1，表示操作内层索引，0表示操作外层索引。fill_value：若产生了缺失值，则可以设置这个参数用来替换NaN。

轴向旋转

某件商品的价格在非活动期间为50元，而在活动期间商品的价格为30元，这就造成同一件商品在不同时间对应不同的价格。

同一款商品的在活动前后的价格无法很直观地看出来。

我们可以将商品的名称作为列索引，出售日期作为行索引，价格作为表格中的数据，此时每一行展示了同一日期不同手机品牌的价格。
通过表格可以直观地看出活动前后的价格浮动

在Pandas中pivot()方法提供了这样的功能，它会根据给定的行或列索引重新组织一个DataFrame对象。

pivot(index=None, columns=None, values=None)

注释：index：用于创建新DataFrame对象的行索引。columns：用于创建新DataFrame对象的列索引。values：用于填充新DataFrame对象中的值。

04 数据转换

重命名轴索引

Pandas中提供了一个rename()方法来重命名个别列索引或行索引的标签或名称。

rename（mapper = None，index = Nonecolumns = None，axis = None，copy = True，inplace = False，level = None）

注释：index，columns：表示对行索引名或列索引名的转换。inplace：默认为False，表示是否返回新的Pandas对象。

例如，将df对象的每个列索引名称重命名为a、b、c。

离散化连续数据

有时候我们会碰到这样的需求，例如，将有关年龄的数据进行离散化（分桶）或拆分为“面元”，直白来说，就是将年龄分成几个区间。

Pandas 的 cut ()函数能够实现离散化操作

pandas.cut（x，bins，right = True，labels = None，retbins = False，precision = 3，include_lowest = False，duplicates ='raise' ）

注释：x：表示要分箱的数组，必须是一维的。
bins：接收int和序列类型的数据。
right：是否包含右端点，决定区间的开闭，默认为True。

注：cut()函数会返回一个Categorical对象，我们可以将其看作一组表示面元名称的字符串，它包含了分组的数量以及不同分类的名称。

Categories对象中的区间范围跟数学符号中的“区间”一样，都是用圆括号表示开区间，用方括号则表示闭区间

如果希望设置左闭右开区间，则可以在调用cut()函数时传入right=False进行修改。

pd.cut(ages, bins=bins, right=False)

哑变量处理类别型数据

哑变量又称虚拟变量、名义变量，从名称上看就知道，它是人为虚设的变量，用来反映某个变量的不同类别。使用哑变量处理类别转换，事实上就是将分类变量转换为哑变量矩阵或指标矩阵，矩阵的值通常用“0”或“1”表示

假设变量“职业”的取值分别为司机、学生、导游、工人、教师共5种选项，如果使用哑变量表示，则可以用下图表示。

在Pandas中，可以使用get_dummies()函数对类别特征进行哑变量处理，

pandas.get_dummies(data, prefix=None, prefix_sep='_', dummy_na=False,columns=None, sparse=False, drop_first=False, dtype=None)

注释：data：表示哑变量处理的数据。
prefix：表示列名的前缀，默认为None。
prefix_sep：用于附加前缀作为分隔符使用，默认为“_”。

本章小结