Pandas+Numpy 数据中空值的处理操作：判断、查找、填充及删除

本文整理了数据中空值的处理操作，主要内容如下：

判断数据中是否有空值

统计空值/非空值数量

根据空值筛选数据

查找空值索引

删除空值 dropna()函数

填充空值fillna()函数

为了便于描述，定义本文示例数据为如下结构：

df = pd.DataFrame([[1, np.nan], [np.nan, 4], [5,6],[np.nan,7]],columns=["A","B"])
df  #定义示例数据df

判断数据中是否有空值

pandas isnull()函数

df.isnull()    #返回df中各元素是否为空的同df大小的数据框df["A"].isnull()  #判断A列中空值情况df[["A","B"]].isnull()  # 指定多列进行空值判断，对于本文实例，下述代码效果同df.isnull()

pandas notnull()函数

df.notnull()    #判断df中各元素是否 不是 空值df["A"].isnull()  #判断A列中非空值情况df[["A","B"]].isnull()  # 指定多列进行非空值判断，对于本文实例，下述代码效果同df.notnull()

numpy np.isnan() 函数

np.isnan(df)   # 等同于df.isnull()np.isnan(df["A"])   # 等同于 df["A"].isnull()np.isnan(df[["A","B"]])  # 等同于 df[["A","B"]].isnull()

统计空值/非空值数量

df.isnull().sum()  # 统计每列的空值数量df.notnull().sum()  # 统计每列的非空值数量df["A"].count()     # A列 非空数量
df.count()         # 统计所有列的非空值数量
df.count(axis=1)   # 每行非空值数量，axis=1df["A"].sum()      # A列 元素数值之和

根据空值筛选数据

# 筛选出A列为空的所有行
df[df.A.isnull()]
df[df["A"].isnull()]# 筛选出A列非空的所有行
df[df.A.notnull()]
df[df["A"].notnull()]        # 筛选出df中存在空值的行
df[df.isnull().values==True]

查找空值索引

np.where(np.isnan(df))   # df中空值所在的行索引及列索引np.where(np.isnan(df.A))    # df中A列空值所在的行索引

删除空值 dropna()函数


df.dropna()   # 删除存在空值的行，默认axis=0按行，how=any每行存在一个空值就执行删除行操作df.dropna(axis=1)  # 删除存在空值的列df.dropna(how="all")  # 删除所有列都为空值的特定行df.dropna(how = "any")   # 删除存在空值的行# 对特定列空值进行删除df.dropna(how="any",subset=["A"])  # 删除A列中存在空值的行df.dropna(how="any",subset=["A","B"])  # 删除A,B列中只要有一列存在空值的行#将删除操作作用于原数据，修改替换原数据df.dropna(how="all",subset=["A","B"],inplace=True)  # 删除A,B列都为空值的行,并替换原数据

填充空值fillna()函数

# 用指定的数字来填充
df.fillna(0)   # 用0来填充df中的空值# 用指定的函数统计值来填充
df.fillna(df.mean())  # 用df中数据的平均值来填充空值df.fillna(df.mean()["A"])   #指定用A列数据均值来填充df中空值df.fillna(df.sum())   # 用df中数据的和来填充空值# 用字典来填充
values = {'A': 0, 'B': 1}   # A列空值用0填充，B列空值用1填充
df.fillna(value=values)    # 用指定字符串来填充空值
df.fillna("unkown")# 不同的填充方式{‘backfill’, ‘bfill’, ‘pad’, ‘ffill’, None}
# 每列的空值，用其列下方非空数值填充
df.fillna(method="backfill")
df.fillna(method="bfill")   # 同backfill
# 每列的空值，用其所在列上方非空数值填充，若上方没有元素，保持空值
df.fillna(method="ffill")
df.fillna(method="pad")     # 同 ffill#limit参数设置填充空值的最大个数
df.fillna(0,limit=1)  # 每列最多填充1个空值，超过范围的空值依然为空#inplace参数空值是否修改原数据df
df.fillna(0,inplace=True)  # inplace为true，将修改作用于原数据

Pandas+Numpy 数据中空值的处理操作：判断、查找、填充及删除相关推荐

pandas：数据筛选的8个操作
文章来源于公众号 Python数据科学的文章pandas 筛选数据的 8 个骚操作,是个很不错的系列,感兴趣的同学可以移步去学习. 数据分析最常用到的就是查询筛选,按各种条件.各种维度以及组合挑出我 ...
Elasticsearch中别名alias相关操作(创建、更新、删除)
1.索引别名概述在Elasticsearch中,别名(alias)是一种将一个或多个索引(index)映射到一个逻辑名称上的方式.通过使用别名,我们可以为目标索引提供简洁.易于理解的名称,并将多个索 ...
pandas 筛选数据的 8 个骚操作
作者 | 东哥起飞来源 | Python数据科学日常用Python做数据分析最常用到的就是查询筛选了,按各种条件.各种维度以及组合挑出我们想要的数据,以方便我们分析挖掘. 总结了日常查询和筛选常用 ...
【ML】pandas 处理数据中的非数字列
数据集鸢尾花数据集:https://www.kaggle.com/datasets/himanshunakrani/iris-dataset 数据处理查看数据的前几行 import numpy a ...
pandas处理数据代码：分组聚合、保留重复行、删除重复行
txt转csv import numpy as np import pandas as pdtxt=np.loadtxt('1216.txt')txtDF=pDataFrame(txt) txtDF. ...
数据的操作:访问——查找——增加——修改——删除——转换类型——排序
之前发布过一次数组的整理<javascript中数组及常见操作方式>不过没有复习就忘了,这次再复习一遍: var arr = ["语文","数学", ...
ACCESS2003替换数据中的通配符本身的办法
ACCESS2003数据中的通配符本身的办法 (1) 要查找数据中的通配符,可以将要查找的字符用方括号括起来,如 [#]. 搜索星号 (*).问号 (?).井号 (#).左方括号 ([) 和连字符 ...
[转载] 用pandas或numpy处理数据中的空值（np.isnan()/pd.isnull()）
参考链接: Python中的numpy.all 最近在做数据处理的时候,遇到个让我欲仙欲死的问题,那就是数据中的空值该如何获取. 我的目的本来是获取数据中的所有非零且非空值,然后再计算获得到的所有数据 ...
python中画出距平垂线_3.机器学习—数据科学包3.3pandas操作
pandas操作一.pandas索引 1.Series索引index 2.DateFrame行索引index和列索引columns 3.pandas预置索引的类 4.重复索引 4.1重复索引定义 4 ...

Pandas+Numpy 数据中空值的处理操作：判断、查找、填充及删除

判断数据中是否有空值

统计空值/非空值数量

根据空值筛选数据

查找空值索引

删除空值 dropna()函数

填充空值fillna()函数

Pandas+Numpy 数据中空值的处理操作：判断、查找、填充及删除相关推荐

最新文章

热门文章