数据分析利器,25个例子学会Pandas Groupby 操作!
点击上方“菜学Python”,选择“星标”公众号
超级无敌干货,第一时间送达!!!
来源丨DeepHub IMBA
大家好,我是菜鸟哥。
groupby是Pandas在数据分析中最常用的函数之一。它用于根据给定列中的不同值对数据点(即行)进行分组,分组后的数据可以计算生成组的聚合值。
如果我们有一个包含汽车品牌和价格信息的数据集,那么可以使用groupby功能来计算每个品牌的平均价格。
在本文中,我们将使用25个示例来详细介绍groupby函数的用法。这25个示例中还包含了一些不太常用但在各种任务中都能派上用场的操作。
这里使用的数据集是随机生成的,我们把它当作一个销售的数据集。
import pandas as pdsales = pd.read_csv("sales_data.csv")sales.head()
1、单列聚合
我们可以计算出每个店铺的平均库存数量如下:
sales.groupby("store")["stock_qty"].mean()#输出storeDaisy 1811.861702Rose 1677.680000Violet 14622.406061Name: stock_qty, dtype: float64
2、多列聚合
在一个操作中进行多个聚合。以下是我们如何计算每个商店的平均库存数量和价格。
sales.groupby("store")[["stock_qty","price"]].mean()
3、多列多个聚合
我们还可以使用agg函数来计算多个聚合值。
sales.groupby("store")["stock_qty"].agg(["mean", "max"])
4、对聚合结果进行命名
在前面的两个示例中,聚合列表示什么还不清楚。例如,“mean”并没有告诉我们它是什么的均值。在这种情况下,我们可以对聚合的结果进行命名。
sales.groupby("store").agg( avg_stock_qty = ("stock_qty", "mean"),max_stock_qty = ("stock_qty", "max"))
要聚合的列和函数名需要写在元组中。
5、多个聚合和多个函数
sales.groupby("store")[["stock_qty","price"]].agg(["mean", "max"])
6、对不同列的聚合进行命名
sales.groupby("store").agg(avg_stock_qty = ("stock_qty", "mean"),avg_price = ("price", "mean"))
7、as_index参数
如果groupby操作的输出是DataFrame,可以使用as_index参数使它们成为DataFrame中的一列。
sales.groupby("store", as_index=False).agg(avg_stock_qty = ("stock_qty", "mean"),avg_price = ("price", "mean"))
8、用于分组的多列
就像我们可以聚合多个列一样,我们也可以使用多个列进行分组。
sales.groupby(["store","product_group"], as_index=False).agg(avg_sales = ("last_week_sales", "mean")).head()
每个商店和产品的组合都会生成一个组。
9、排序输出
可以使用sort_values函数根据聚合列对输出进行排序。
sales.groupby(["store","product_group"], as_index=False).agg( avg_sales = ("last_week_sales", "mean")).sort_values(by="avg_sales", ascending=False).head()
这些行根据平均销售值按降序排序。
10、最大的Top N
max函数返回每个组的最大值。如果我们需要n个最大的值,可以用下面的方法:
sales.groupby("store")["last_week_sales"].nlargest(2)store Daisy 413 1883231 947Rose 948 883263 623Violet 991 3222339 2690Name: last_week_sales, dtype: int64
11、最小的Top N
与最大值相似,也可以求最小值
sales.groupby("store")["last_week_sales"].nsmallest(2)
12、第n个值
除上面2个以外,还可以找到一组中的第n个值。
sales_sorted = sales.sort_values(by=["store","last_month_sales"], ascending=False, ignore_index=True)
找到每个店铺上个月销售排名第五的产品如下:
sales_sorted.groupby("store").nth(4)
输出包含每个组的第5行。由于行是根据上个月的销售值排序的,所以我们将获得上个月销售额排名第五的行。
13、第n个值,倒排序
也可以用负的第n项。例如," nth(-2) "返回从末尾开始的第二行。
sales_sorted.groupby("store").nth(-2)
14、唯一值
unique函数可用于查找每组中唯一的值。例如,可以找到每个组中唯一的产品代码如下:
sales.groupby("store", as_index=False).agg(unique_values = ("product_code","unique"))
15、唯一值的数量
还可以使用nunique函数找到每组中唯一值的数量。
sales.groupby("store", as_index=False).agg(number_of_unique_values = ("product_code","nunique"))
16、Lambda表达式
可以在agg函数中使用lambda表达式作为自定义聚合操作。
sales.groupby("store").agg(total_sales_in_thousands = ("last_month_sales",lambda x: round(x.sum() / 1000, 1)))
17、apply函数
使用apply函数将Lambda表达式应用到每个组。例如,我们可以计算每家店上周销售额与上个月四分之一销售额的差值的平均值,如下:
sales.groupby("store").apply(lambda x: (x.last_week_sales - x.last_month_sales / 4).mean())storeDaisy 5.094149Rose 5.326250Violet 8.965152dtype: float64
18、dropna
缺省情况下,groupby函数忽略缺失值。如果用于分组的列中缺少一个值,那么它将不包含在任何组中,也不会单独显示。所以可以使用dropna参数来改变这个行为。
让我们首先添加一个缺少存储值的新行。
sales.loc[1000] = [None, "PG2", 10000, 120, 64, 96, 15, 53]
然后计算带有dropna参数和不带有dropna参数的每个商店的平均价格,以查看差异。
sales.groupby("store")["price"].mean()storeDaisy 69.327426Rose 60.513700Violet 67.808727Name: price, dtype: float64
看看设置了缺失值参数的结果:
sales.groupby("store", dropna=False)["price"].mean()storeDaisy 69.327426Rose 60.513700Violet 67.808727NaN 96.000000Name: price, dtype: float64
groupby函数的dropna参数,使用pandas版本1.1.0或更高版本。
19、求组的个数
有时需要知道生成了多少组,这可以使用ngroups。
sales.groupby(["store", "product_group"]).ngroups18
在商店和产品组列中有18种不同值的不同组合。
20、获得一个特定分组
get_group函数可获取特定组并且返回DataFrame。
例如,我们可以获得属于存储“Daisy”和产品组“PG1”的行如下:
aisy_pg1 = sales.groupby(["store", "product_group"]).get_group(("Daisy","PG1"))daisy_pg1.head()
21、rank函数
rank函数用于根据给定列中的值为行分配秩。我们可以使用rank和groupby函数分别对每个组中的行进行排序。
sales["rank"] = sales.groupby("store"["price"].rank(ascending=False, method="dense")sales.head()
22、累计操作
们可以计算出每组的累计总和。
import numpy as npdf = pd.DataFrame({"date": pd.date_range(start="2022-08-01", periods=8, freq="D"),"category": list("AAAABBBB"),"value": np.random.randint(10, 30, size=8)})
我们可以单独创建一个列,包含值列的累计总和,如下所示:
df["cum_sum"] = df.groupby("category")["value"].cumsum()
23、expanding函数
expanding函数提供展开转换。但是对于展开以后的操作还是需要一个累计函数来堆区操作。例如它与cumsum 函数一起使用,结果将与与sum函数相同。
df["cum_sum_2"] = df.groupby("category")["value"].expanding().sum().values
24、累积平均
利用展开函数和均值函数计算累积平均。
df["cum_mean"] = df.groupby("category")["value"].expanding().mean().values
25、展开后的最大值
可以使用expand和max函数记录组当前最大值。
df["current_highest"] = df.groupby("category")["value"].expanding().max().values
在Pandas中groupby函数与aggregate函数共同构成了高效的数据分析工具。在本文中所做的示例涵盖了groupby功能的大多数用例,希望对你有所帮助。
推荐阅读:
入门: 最全的零基础学Python的问题 | 零基础学了8个月的Python | 实战项目 |学Python就是这条捷径
干货:爬取豆瓣短评,电影《后来的我们》 | 38年NBA最佳球员分析 | 从万众期待到口碑扑街!唐探3令人失望 | 笑看新倚天屠龙记 | 灯谜答题王 |用Python做个海量小姐姐素描图 |碟中谍这么火,我用机器学习做个迷你推荐系统电影
趣味:弹球游戏 | 九宫格 | 漂亮的花 | 两百行Python《天天酷跑》游戏!
AI: 会做诗的机器人 | 给图片上色 | 预测收入 | 碟中谍这么火,我用机器学习做个迷你推荐系统电影
小工具: Pdf转Word,轻松搞定表格和水印! | 一键把html网页保存为pdf!| 再见PDF提取收费! | 用90行代码打造最强PDF转换器,word、PPT、excel、markdown、html一键转换 | 制作一款钉钉低价机票提示器! |60行代码做了一个语音壁纸切换器天天看小姐姐!|
年度爆款文案
1).卧槽!Pdf转Word用Python轻松搞定!
2).学Python真香!我用100行代码做了个网站,帮人PS旅行图片,赚个鸡腿吃
3).首播过亿,火爆全网,我分析了《乘风破浪的姐姐》,发现了这些秘密
4).80行代码!用Python做一个哆来A梦分身
5).你必须掌握的20个python代码,短小精悍,用处无穷
6).30个Python奇淫技巧集
7).我总结的80页《菜鸟学Python精选干货.pdf》,都是干货
8).再见Python!我要学Go了!2500字深度分析!
9).发现一个舔狗福利!这个Python爬虫神器太爽了,自动下载妹子图片
点阅读原文,看B站50个Python实战视频!
数据分析利器,25个例子学会Pandas Groupby 操作!相关推荐
- 25个例子学会Pandas Groupby 操作(附代码)
来源:DeepHub IMBA 本文约2300字,建议阅读5分钟本文用25个示例详细介绍groupby的函数用法. groupby是Pandas在数据分析中最常用的函数之一.它用于根据给定列中的不同值 ...
- pandas——groupby操作
相关知识 groupby(by=None, axis=0, level=None, as_index=True, sort=True, group_keys=True, squeeze=False) ...
- 总结了25个Pandas Groupby 经典案例!!
大家好,我是俊欣~ groupby是Pandas在数据分析中最常用的函数之一.它用于根据给定列中的不同值对数据点(即行)进行分组,分组后的数据可以计算生成组的聚合值. 如果我们有一个包含汽车品牌和价格 ...
- 10分钟上手pythonpandas_【译】10分钟学会Pandas
十分钟学会Pandas 这是关于Pandas的简短介绍主要面向新用户.你可以参考Cookbook了解更复杂的使用方法 习惯上,我们这样导入: In [1]: importpandas as pd In ...
- 十分钟学python-【译】10分钟学会Pandas
十分钟学会Pandas 这是关于Pandas的简短介绍主要面向新用户.你可以参考Cookbook了解更复杂的使用方法 习惯上,我们这样导入: In [1]: importpandas as pd In ...
- Python数据分析实战(2)使用Pandas进行数据分析
文章目录 一.Pandas的使用 1.Pandas介绍 2.Pandas基本操作 Series的操作 创建DataFrame 常见列操作 常见行操作 DateFrame的基本操作 时间操作 3.Pan ...
- Pandas GroupBy 深度总结
今天,我们将探讨如何在 Python 的 Pandas 库中创建 GroupBy 对象以及该对象的工作原理.我们将详细了解分组过程的每个步骤,可以将哪些方法应用于 GroupBy 对象上,以及我们可以 ...
- 【Python】Pandas GroupBy 深度总结
今天,我们将探讨如何在 Python 的 Pandas 库中创建 GroupBy 对象以及该对象的工作原理.我们将详细了解分组过程的每个步骤,可以将哪些方法应用于 GroupBy 对象上,以及我们可以 ...
- 3 Python数据分析 美国各州人口分析案例 Pandas高级操作 美国大选献金案例 matplotlib
Python数据分析 1 案例 美国各州人口分析 1.1 数据介绍 数据来源:https://github.com/jakevdp/data-USstates/ 1.1.1 州人口数量表 state- ...
最新文章
- 主席树 | 莫队 ---- Codeforces Round #716 (Div. 2) D. Cut and Stick [主席树or莫队优化] 区间众数问题(静态)
- 机器学习开发者的现代化路径:不需要从统计学微积分开始
- 学习CSS了解单位em和px的区别
- mysql创建数据库并且指定utf-8编码
- python清除缓存的命令_python – 重启django服务器时清除缓存的最佳位置
- 新手上路之django项目开发(一)-----创建项目并运行
- Hadoop小知识点
- spss 22 0统计分析从入门到精通_「转需」20+统计分析软件使用工具包,一次全搞定...
- 算法高级(4)-遗传算法(Genetic Algorithm)简介
- python语言能做什么-python语言能做什么
- 应用安全的重要性!再怎么强调都不过分的5大理由
- 关于java多线程堆和栈的共享问题
- 画 ArcFace 中的 margin 曲线
- 数理统计中常用函数、概率分布函数总结
- rgb转hsv (Verilog)
- 高动态范围红外图像压缩
- 鹅厂打响互联网大厂校招第一枪!
- sentry mysql_Apache Sentry安装及简单使用
- javaScript:结合mousedown、mousemove、mouseup事件,实现拖动方块在页面内移动(代码)
- 硬盘数据丢失能恢复吗 硬盘数据丢失怎么找回