Python处理千万级数据

从别人的论文里找到要用的数据的原始数据自己做过滤

捣鼓了两天觉得代码太慢开始用pandas做处理

不得不说最大的感触就是 pandas 以及numpy在一定程度上在还原MATLAB

比如MATLAB中利用逻辑值取数、元素的用法，pandas中有几乎一样的方法

test:

同时pandas中有很多很好用的方法，猜测使用了很多哈希值

但是pandas同numpy一样，增量添加很慢

也就是pandas适用于已经确定size的数据的读取操作非常友好，但是把两个dataframe合并，是很慢的操作

实际上先做了数据的拷贝再进行的拼接，可想而知是多慢了

而Python里的list是一个动态数组，比较适合用于动态增长的情况，比如append，+，extends这样的方法

总之记住只对dataframe进行读取就够啦

最后写代码的时候对于for循环要小心！！！

想清楚这个代码是不是在循环里面还是外面！！

把要在循环外面的代码先写着！！

比如这次把生成dataframe的两行代码写了for循环里面

查了好几遍才发现！！真的很费时间！！

时间的宝贵使人进步。

加油。

————————————————
版权声明：本文为CSDN博主「HeReCJJ」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/HeReCJJ/article/details/81431240

Python处理千万级数据相关推荐

python处理千万级数据_Python批量删除mysql中千万级大量数据的脚本分享
场景描述线上Mysql数据库里面有张表保存有每天的统计结果,每天有1千多万条,这是我们意想不到的,统计结果咋有这么多.运维找过来,磁盘占了200G,最后问了运营,可以只保留最近3天的,前面的数据,只 ...
python查询千万级数据_Python批量删除mysql中千万级大量数据
场景描述线上mysql数据库里面有张表保存有每天的统计结果,每天有1千多万条,这是我们意想不到的,统计结果咋有这么多.运维找过来,磁盘占了200g,最后问了运营,可以只保留最近3天的,前面的数据,只 ...
php超大树形分页,PHP+MySql千万级数据limit分页优化方案
PHP+MySql千万级数据limit分页优化方案 1年前阅读 2750 评论 0 喜欢 0 ### 原因徒弟突然有个需求,就是他发现limit分页,页数越大之后,mysql的消耗越大,查询时间越 ...
排序千万级数据_MySQL 对于千万级的大表要怎么优化？我写了6000字的深度解读...
千万级大表如何优化,这是一个很有技术含量的问题,通常我们的直觉思维都会跳转到拆分或者数据分区,在此我想做一些补充和梳理,想和大家做一些这方面的经验总结,也欢迎大家提出建议. 从一开始脑海里开始也是火光 ...
如何设计千万级数据的java对账系统之一
本篇文章主要聊聊如何设计千万级别的对账系统.其他一些业务问题可以参看对账清分设计总概览. 目前系统运行的对账总情况:对账日交易量两千万,交易金额50亿,对账时间5分钟以内本篇文章分两个模块第一个模 ...
java千万级数据txt文件导入数据库
最近在做项目的时候,有要把txt文件导入到数据库,txt文件有千万级,如果使用传统的读文件,写数据库,效率很慢.自己按照这种方式使用100万条数据的txt文件导入到oracle数据库,花费了二十多 ...
oracle导出千万级数据为csv格式
当数据量小时(20万行内),plsqldev.sqlplus的spool都能比较方便进行csv导出,但是当数据量到百万千万级,这两个方法非常慢而且可能中途客户端就崩溃,需要使用其他方法. 一. sql ...
6，ORM组件XCode（撬动千万级数据）
为什么80%的码农都做不了架构师?>>> 有了前面的<动手>,基本上可以进行开发了.本篇我们来试试XCode的基本功功力如何,测试在单表一千万业务数据的环境下查询的 ...
单表千万级数据 count() 统计优化
1. 创建一张测试表: DROP TABLE IF EXISTS `user`; CREATE TABLE `user` ( `id` bigint(20) PRIMARY key not null ...

Python处理千万级数据

Python处理千万级数据相关推荐

最新文章

热门文章