西北乱跑娃 -- pandas数据清洗及转换

一、列表嵌套字典转DataFrame

res = requests.post(url, headers=header, data=data).json()['rows']
df = pd.DataFrame(res)

二、删除没有用的字段名及对应数据

df.drop(['id','consultationid', 'orgid','createuserid','modifyuserid','createuserid'
], axis=1, inplace=True)

三、替换指定列的映射数据

df["inserttype"] = df["inserttype"].map({0: "录入",2: "接口导入"})

四、将python字典中的None值替换成字符串

nan = df.replace({None: ''})

五、DataFrame转python字典

orient='index' 不添加则每个字段为一组数据，添加则一行数据为一个字典，便于数据迭代渲染和查询
data = nan.to_dict(orient='index').values()

六、DataFrame导出

nan.to_excel("test.xslx")
nan.to_json("test.txt")
nan.to_csv("test.csv", encoding="gbk")

西北乱跑娃 -- pandas数据清洗及转换相关推荐

西北乱跑娃 --- python正则匹配中文以及数字和标点
很多朋友在做爬虫和数据采集的时候会遇见字符中存在很多的特殊字符,影响数据的质量.今天给大家写一段代码用于数据清洗: 方法一: info = '' str = '<@ba.rem>可以在下列 ...
西北乱跑娃 --- python excel表合并
有时候会需要将所有的excel进行批量化的合并,而且一个excel里边有好多的表.这个时候就很难受,手工去做估计会瘫痪.因此鄙人写了一套代码,希望能帮助你,也希望你能给个关注: import pand ...
西北乱跑娃 --- python分段下载文件io流
一.下载文件代码这里使用requests下载文件,设置stream=True参数的意义在于先不拿取响应数据,只取header响应头数据中的文件大小信息.文件写入模式为ab+,意思为将二进制流的形式写 ...
西北乱跑娃 --- requests爬虫五大反反爬机制
提及爬虫相信大家都知道,今天为大家介绍五点解决反爬的机制. 1.SSL证书验证错误错误: requests.exceptions.SSLError: ("bad handshake: Er ...
西北乱跑娃 --- python爬虫
有勇气的牛排官网:https://lgch.xyz/ 或 http://920z.net/ 兼职写代码赚米,可进官网查看,千人团队,实力合作,同多家淘宝等店铺合作,质量靠谱,当天结款. 接单范围:p ...
西北乱跑娃 --- python企业微信审核项目实时反馈
企业微信如何实现应用内的审批状态实时监控呢?之前我也查了很多文档,当然包括企业微信官方的文档,但是给出的文档内部问题多多,因此,我特意写了这篇博客.将企业微信审核项目实时状态反馈到公司的邮箱或者个人邮 ...
西北乱跑娃 --- python图像基本操作
import cv2 import numpy as npimg = cv2.imread('fj.png', 0) # gamma函数用于降低图像深色对比,是图像曝光均衡 def adjust_ga ...
西北乱跑娃 --- python类方法重写
类方法重写对于学好python非常重要,除了python基础,python的精髓在于继承,多态,封装和装饰器:下面是对于继承重写的一个简单示例: class MyItem():def __init__ ...
西北乱跑娃 --- opencv泛洪填充学习笔记
一.前言泛洪填充算法也叫漫水填充算法.在网上查阅了很多的关于泛洪填充的案例但是一直都表示理解不了参数的具体作用,在自己的研究中才慢慢有所了解. 二.泛洪填充 import cv2 import ma ...

西北乱跑娃 -- pandas数据清洗及转换

一、列表嵌套字典转DataFrame

二、删除没有用的字段名及对应数据

三、替换指定列的映射数据

四、将python字典中的None值替换成字符串

五、DataFrame转python字典

六、DataFrame导出

西北乱跑娃 -- pandas数据清洗及转换相关推荐

最新文章

热门文章