pandas 基础用法
pandas 是一个基于 Numpy 构建, 强大的数据分析工具包
主要功能
- 独特的数据结构 DataFrame, Series
- 集成时间序列功能
- 提供丰富的数学运算操作
- 灵活处理缺失数据
Series 一维数组
Series 是一种类似于一维数组的对象, 由一组数据和一组与之相关的数据标签(索引)组成
创建方式
pd.Series([4, 7 ,5, -3])
pd.Series([4, 7 ,5, -3], index=['a', 'b', 'c', 'd'])
pd.Series({'a':1, 'b', 2})
pd.Series(0, index=['a', 'b', 'c', 'd'])# 获取值数组
sr = pd.Series([4, 7 ,5, -3])
sr.value# 获取索引数组
sr = pd.Series([4, 7 ,5, -3])
sr.index
Series 支持array的特性(下标)
- 从 ndarry 创建 Series
- 与标量直接运算
- 两个 Series 运算
- 索引
- 切片
- 通用函数 np.abs(sr)
- 布尔值过滤 sr[sr>0]
Series 支持字典的特性(标签)
- 从字典创建 Series Series(dict)
- in 运算
- 键索引
整数索引
如果索引是整数, 则根据下标取值时总是面向标签的.
此时可通过 loc方法(将索引解释为标签)和iloc方法(将索引解释为下标)
Series 数据计算
sr1 = pd.Series([12,23,34], index=['c', 'a', 'd'])
sr2 = pd.Series([11,20,10], index=['d', 'c', 'a'])
print(sr1 + sr2)
# 相关计算方法 add, sub, div, mul
pandas 在进行两个 Series 对象运算时, 会按索引进行对齐然后计算.
数据对齐
若两个 Series 对象的索引不完全相同, 则结果的索引是两个操作数索引的并集. 如果只有一个对象在某索引下有值, 则结果中该索引的值为NaN.
缺失数据处理办法
sr1.add(sr2, fill_value=0) 填充缺失的值
dropna() 过滤掉值为NaN的行
fillna() 填充缺失数据
isnull() 返回布尔数组, 缺失值对应为True
notnull() 返回buer数据, 缺失值对应为False# 过滤缺失数据
sr.dropna()
sr[data.notnull()]
DataFrame
DataFrame 是一个表格型的数据结构, 含有一组有序的列. 可以看做是 Series 组成的字典, 并且公用一个索引.
创建 DataFrame 的方法有很多种
# 手动创建
pd.DataFrame({'one':[1,2,3,4], 'two':[4,3,2,1]})
pd.DataFrame({'one':pd.Series([1,2,3], index=['a','b', 'c']), 'two':pd.Series([1,2,3,4], index=['a','b','c','d'])# 从csv文件读取与写入
df.read_csv('filename.csv')
df.to_csv()
常用属性
- index 获取索引
- T 转置
- columns 获取列索引
- values 获取值数组
- describe() 获取快速统计
索引和切片
DataFrame 是一个二维数据类型, 所以有行索引
和列索引
, 可以通过标签和位置两种方法进行索引和切片
- loc 索引方法和 iloc 下标方法
- 使用方法: 逗号隔开, 前面是行索引, 后面是列索引
- 行/列索引部分可以是常规索引, 切片, 布尔值索引, 花式索引任意搭配
数据对齐与缺失数据
DataFrame 对象在运算时, 同样会进行数据对齐, 其行索引和列索引分别对齐
处理缺失数据的相关方法
- dropna(axis=0, where='any', ...)
- fillna()
- isnull()
- notnull()
pandas 常用方法
- mean(axis=0, skipna=False) 对列(行)求平均值
- sum(axis=1) 对列(行)求和
- sort_index(axis, ..., ascending) 对列(行)索引排序
- sort_values(by, axis, ascending) 按某一列(行)的值排序
- apply(func, axis=0) 将自定义函数应用在各行或各列上, func可返回标量或Series
- NumPy 的通用函数同样适用于pandas
- applymap(func) 将函数应用在 DataFrame 各个元素上
- map(func) 将函数应用在 Series 各个元素上
时间处理
pandas基于dateutil
来处理时间对象
dateutil.parser.parse()
dateutil 原生时间处理方法pd.to_datetime()
pandas 成组处理时间对象data_range()
产生时间对象数组- start 开始时间
- end 结束时间
- periods 时间长度
- freq 时间频率, 默认为'D', 可选为H(our), W(eek), B(usiness), S(emi-)M(onth), (min)T(es), S(econd), A(year)
时间序列
时间序列是以时间对象为索引的Series或DataFrame, datetime对象作为索引时是存储在DatetimeIndex对象中的.
时间序列的特色功能:
- 传入"年"或"年月"作为切片方式
- 传入日期范围作为切片方式
- 丰富的函数支持: resample(), strftime(), ...
文件处理
read_csv
和read_table
函数- sep 制定分隔符, 可用正则表达式如'\s+'
- header = None 指定文件无列名
- name 指定列名
- index_col 指定某列为索引
- skip_row 指定跳过某些行
- na_values 指定某些字符串表示缺失值
- parse_dates 指定某些列是否被解析为日期, 类型为布尔值或列表
to_csv
函数- sep 指定文件函数
- na_rep 指定缺失值转换的字符串, 默认为空字符串
- header=False 不输出列名一行
- index=False 不输出行索引一列
- columns 指定输出的列, 传入列表
转载于:https://www.cnblogs.com/haoxi/p/9363501.html
pandas 基础用法相关推荐
- pandas object转float_数据分析篇 | Pandas基础用法6【完结篇】
这是最后一篇,至此Pandas系列终于连载完了,有需要的也可以看看前面6篇,尽请收藏. 数据分析篇 | Pandas 概览 数据分析篇 | Pandas基础用法1数据分析篇 | Pandas基础用法2 ...
- Pandas基础用法合集(中文官档)
本节介绍 pandas 数据结构的基础用法.下列代码创建示例数据对象: In [1]: index = pd.date_range('1/1/2000', periods=8) In [2]: s = ...
- pandas基础用法——数据校验
(笔记:python数据分析学不会?,看大佬如何用pandas玩转数据分析!_哔哩哔哩_bilibili) pandas数据校验 import pandas as pd# 用assert校验 def ...
- pandas库Series使用和ix、loc、iloc基础用法
1. pandas库Series基础用法: 直接贴出用例: 1. 构造/初始化Series的3种方法: (1)用列表list构建Series import pandas as pd my_list=[ ...
- Pandas中文官档 ~ 基础用法1
呆鸟云:"在学习 Python 数据分析的过程中,呆鸟发现直接看官档就是牛逼啊,内容全面.丰富.详细,而 Python 数据分析里最核心的莫过于 pandas,于是就想翻译 pandas 官 ...
- pandas object转float_Pandas中文官档~基础用法6
呆鸟云:"这一系列长篇终于连载完了,还请大家关注 Python 大咖谈,这里专注 Python 数据分析,后期呆鸟还会给大家分享更多 Pandas 好文." 数据类型 大多数情况下 ...
- dubbo官方文档中文_Pandas中文官方文档:基础用法5
本文授权转载自Python大咖谈禁止二次转载 大家好,我是老表 阅读文本大概需要 16 分钟 建议从头开始学习,本系列前四篇 Pandas中文官方文档:基础用法1 Pandas中文官方文档:基础用法2 ...
- pandas pivot 计算占比_数据分析Pandas 基础(二)
推荐阅读:数据分析--Pandas 基础(一) 上一节课介绍了 Pandas 的基本用法,这一章节我们通过对 "泰坦尼克号" 幸存者进行数据分析,来进一步的学习 pandas. t ...
- pandas 第二章 pandas基础
第二章 pandas基础 import numpy as np import pandas as pd import xlrd 在开始学习前,请保证pandas的版本号不低于如下所示的版本,否则请务必 ...
最新文章
- mysql数据库锁定机制
- restful api接口规范_如何理解RESTful API设计规范?
- 第二十四周项目5-应用枚举
- mysql常用命令英文词汇_MySQL中文全文索引插件 mysqlcft 1.0.0 安装使用文档
- AngularJS控制器和过滤器学习(三)
- Python面向对象之反射
- 小程序 getphonenumber_小程序入门,看这一篇就够了!
- Spring Boot 框架介绍和使用
- 机器视觉:偏振镜光学原理和在机器视觉中的应用
- VMware虚拟机中 启动Windows XP系统黑屏 的解决
- Html制作知识库管理系统,知识库管理系统(源码+数据)
- 【RTD】铂电阻测温原理与具体方法
- 回顾过去,展望未来!
- 100天精通Python(进阶篇)——第34天:正则表达式大总结(基础+代码实战)
- 容联云 PHP 实现短信发送验证码
- 零基础学习笔记 - ADF4159
- 关于在word里的表格里面打公式出现换行问题
- python期末试题汇总
- 数据、算法、场景:工程化的“三驾马车”
- CISCO交换机与华为交换机链路聚合及IRF