1.分组与聚合的原理

在Pandas中：

分组：指使用特定的条件将原数据划分为多个组；

聚合：对每个分组中的数据执行某些操作，最后将计算的结果进行整合。

1.2分组与聚合的过程分为三步
1.2.1拆分
将数据集按照些标准拆分为若干个组。split拆分方法

1.2.2应用
将某个函数或方法（内置和自定义均可）应用到每个分组。apply方法应用

1.2.3合并
将产生的新值整合到结果对象中。combine方法整合

2. 通过groupby()方法将数据拆分成组
在Pandas中，可以通过groupby()方法将数据集按照某些标准划分成若干个组。

2.1 groupby()方法

Hadley Wickham创造了一个用于表示分组运算的术语“split—apply—combine”（拆分—应用—合并），分组运算第一阶段，pandas对象中的数据会根据你所提供的一个或多个键被拆分

（split）为多组，拆分操作是在对象特定轴上执行的。例如：DataFrame可以在其行（axis = 0）或者列（axis =1）上进行分组。然后，将一个函数应用（apply）到各个分组并产生一个新值。最后，所有这些函数的执行结果会被合并（combine）到最终结果对象中。

分组键可以有多种形式，且类型不必相同：

列表活数组，其长度与待分组的轴一样；
表示DataFrame某个列的值；
字典或Series，给出待分组轴上的值与分组名之间的对应关系
函数，用于处理轴索引活索引中的各个标签

分组groupby基本用法

import pandas as pd
import numpy as np
from pandas import Series,DataFrame
df = DataFrame({'key1':['a','a','b','b','a'],'key2':['one','two','one','two','one'],'data1':np.random.randn(5),'data2':np.random.randn(5)})
df

grouped = df['data1'].groupby(df['key1'])
grouped.mean()

03 数据聚合

3.1使用循环得到结果

3.2平均值

3.3 agg

agg是DataFrame的直接方法，返回的也是一个DataFrame。当然，很多功能用sum、mean等等也可以实现。但是agg更加简洁, 而且传给它的函数可以是字符串，也可以自定义，参数是column对应的子DataFrame。

数据应用 apply

apply()方法的使用是十分灵活的，它可以在许多标准用例中替代聚合和转换，另外还可以处理一些比较特殊的用例。

Python数据分析之数据聚合与分组运算相关推荐

Python数据分析之数据聚合与分组运算（拆分、应用、合并）
笔记目录 1.分组与聚合的原理 1.2分组与聚合的过程分为三步 1.2.1拆分 1.2.2应用 1.2.3合并 2. 通过groupby()方法将数据拆分成组 2.1 groupby()方法 2.2 ...
类的应用python平均分_【数据科学系统学习】Python # 数据分析基本操作[四] 数据规整化和数据聚合与分组运算...
本篇内容为整理<利用Python进行数据分析>,博主使用代码为 Python3,部分内容和书本有出入. 在前几篇中我们介绍了 NumPy.pandas.matplotlib 三个库的基本操 ...
【Python】GroupBy：数据聚合与分组运算
[博客地址]:https://blog.csdn.net/sunyaowu315 [博客大纲地址]:https://blog.csdn.net/sunyaowu315/article/details/ ...
【学习经典】python 数据聚合与分组运算（part 2）
本文的前半部分:python 数据聚合与分组运算(part 1) 4. 透视表和交叉表透视表(pivot table)是各种电子表格程序和其他数据分析软件中一种常见的数据汇总工具.它根据一个或多个键 ...
Python之数据聚合与分组运算
Python之数据聚合与分组运算 1. 关系型数据库方便对数据进行连接.过滤.转换和聚合. 2. Hadley Wickham创建了用于表示分组运算术语"split-apply-combin ...
Python数据聚合和分组运算(1)-GroupBy Mechanics
前言 Python的pandas包提供的数据聚合与分组运算功能很强大,也很灵活.<Python for Data Analysis>这本书第9章详细的介绍了这方面的用法,但是有些细节不常用 ...
vfp python_python foxpro数据聚合和分组运算——分组级运算和转换(3)
数据聚合和分组运算--分组级运算和转换(3),有需要的朋友可以参考下. 1.假设我们想要为一个DataFrame添加一个用于存放各索引分组平均值的列,一个办法是先聚合再合并: >>> ...
pandas合并groupby_pandas数据聚合与分组运算——groupby方法
简介 pandas中一类非常重要的操作是数据聚合与分组运算.通过groupby方法能够实现对数据集的拆分.统计.转换等操作,这个过程一气呵成. 在本文中,你将学到: 选取特定列分组: 对分组进行迭代: ...
【学习】数据聚合和分组运算【groupby】
[学习]数据聚合和分组运算[groupby] 分组键可以有多种方式,且类型不必相同列表或数组, 某长度与待分组的轴一样表示DataFrame某个列名的值字典或Series,给出待分组轴上的值与分 ...
《利用python进行数据分析》读书笔记--第九章数据聚合与分组运算（一）
http://www.cnblogs.com/batteryhp/p/5046450.html 对数据进行分组并对各组应用一个函数,是数据分析的重要环节.数据准备好之后,通常的任务就是计算分组统计或生 ...

Python数据分析之数据聚合与分组运算

1.分组与聚合的原理

03 数据聚合

数据应用 apply

Python数据分析之数据聚合与分组运算相关推荐

最新文章

热门文章