python循环读取文件越来越慢_python读取大文件越来越慢的原因与解决
背景:
今天同事写代码,用python读取一个四五百兆的文件,然后做一串逻辑上很直观的处理。结果处理了一天还没有出来结果。问题出在哪里呢?
解决:
1. 同事打印了在不同时间点的时间,在需要的地方插入如下代码:
print time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time()))
发现一个规律,执行速度到后面时间越来越长,也就是处理速度越来越慢。
2. 为什么会越来越慢呢?
1)可能原因1,GC 的问题,有篇文章里面写,python list append 的时候会越来越慢,解决方案是禁止GC:
使用 gc.disable()和gc.enable()
2)改完上面,仍然不行,然后看到一篇文章里面写,可能是因为 git 导致的,因为append 的时候 git 会不断同步,会出问题,于是删除 .git 文件夹,结果还是不行。
3)继续查询,发下一个及其有可能出问题的地方。dict 的 in dict.key(),判断 key 是否在 dict 里面,这个的效率是非常低的。看到一篇文章比较了效率:
① 使用 in dict.keys() 效率:
② 使用 has_key() 效率:
发现 has_key() 效率比较稳定。于是修改,问题解决。
后话:
最初的时候,的确是使用 has_key(), 结果后面上传代码的时候,公司代码检查过不了,提示不能使用这个函数,只能改成 in dict.key() 这种方式,为什么公司不让这么传呢?经过一番百度,发现原因所在:在 python3 中,直接将 has_key() 函数给删除了,所以禁止使用。那禁止了该怎么办呢?原来 python 中 in 很智能,能自动判断 key 是否在字典中存在。所以最正规的做法不是 has_key(), 更不是 in dict.keys(), 而是 in dict. 判断 key 在 map 中,千万别用 in dict.keys() !!!
附录:
in、 in dict.keys()、 has_key() 方法实战对比:
>>> a = {'name':"tom", 'age':10, 'Tel':110}
>>> a
{'age': 10, 'Tel': 110, 'name': 'tom'}
>>> print 'age' in a
True
>>> print 'age' in a.keys()
True
>>>
>>> print a.has_key("age")
True
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对脚本之家的支持。
参考资料:
您可能感兴趣的文章:
python循环读取文件越来越慢_python读取大文件越来越慢的原因与解决相关推荐
- python读取大文件太慢_python读取大文件越来越慢的原因与解决
背景: 今天同事写代码,用python读取一个四五百兆的文件,然后做一串逻辑上很直观的处理.结果处理了一天还没有出来结果.问题出在哪里呢? 解决: 1. 同事打印了在不同时间点的时间,在需要的地方插入 ...
- python读取大文件的坑_python读取大文件踩过的坑——读取txt文件词向量
在读取https://github.com/Embedding/Chinese-Word-Vectors中的中文词向量时,选择了一个有3G多的txt文件,之前在做词向量时用的是word2vec,所以直 ...
- python dialect='excel'是什么意思_python读取和生成excel文件
今天来看一下如何使用python处理excel文件,处理excel文件是在工作中经常用到的,python为我们考虑到了这一点,python中本身就自带csv模块... 今天来看一下如何使用python ...
- python读取大文件的坑_Python读取大文件的坑“与内存占用检测
python读写文件的api都很简单,一不留神就容易踩"坑".笔者记录一次踩坑历程,并且给了一些总结,希望到大家在使用python的过程之中,能够避免一些可能产生隐患的代码. 1. ...
- python读取csv文件路径设置_python读取csv文件
1 importcsv2 tsvfile = open('any_different_file/excel2.tsv','rt')3 readers =csv.reader(tsvfile)4 for ...
- python调用文件对象所提供的读取数据的函数_python读写数据文件
1. read.readline.readlines (1)open函数 如果你想用python读取文件(如txt.csv等),第一步要用open函数打开文件. open()是python的内置函数, ...
- python读取文件第一行_python读取文件首行和最后一行
python读取文件最后一行两种方式 1)常规方法:从前往后依次读取 步骤:open打开文件. 读取文件,把文件所有行读入内存. 遍历所有行,提取指定行的数据. 优点:简单,方便 缺点:当文件大了以后 ...
- python如何读取文件指定行_Python读取文件、大文件和指定行内容的几种方法
在使用python处理文本的时候,经常会需要读取文件的内容.如果文件比较小,那么直接使用open文件对象打开文件,再通过read()方法最为方便,这种方法就是把文件内容读出来后放到内存变量. read ...
- python加载图片并显示_python读取目录下所有的jpg文件,并显示第一张图片的示例...
python读取目录下所有的jpg文件,并显示第一张图片的示例 如下所示: # -*- coding: UTF-8 -*- import numpy as np import os from scip ...
- python xlrd读取excel所有数据_python读取excel进行遍历/xlrd模块操作
我就废话不多说了,大家还是直接看代码吧~ #!/usr/bin/env python # -*- coding: utf-8 -*- import csv import xlrd import xlw ...
最新文章
- 易宝典文章——如何将PST文件导入到Exchange 2010 的邮箱
- python的or操作符连接多个字符串含义是什么?
- Winform中将WebBrower浏览器控件由IE内核修改为Chrome的WebKit内核
- 黑电平校正、FPN校正、平场校正、白平衡校正
- 6内置数据结构_set
- linux的centos 怎么安装bzip2
- Type safety: The method add(Object) belongs to the raw type List. References to generic type List<E>
- ctguoj--考新郎(排列组合+错排公式)
- Redhat 7 配置Yum仓库
- python爬虫: 爬一个英语学习网站
- 教你六步拆解 DDD领域驱动设计落地实践
- 中文期刊分类(blog版)
- 一个twitter puddles的算法实现
- 网络安全攻防之IPC$攻击
- 【BigHereo 40】---L13---C++语言大总结
- 软件测试行业就业前景到底怎么样?
- 自定义百度地图InfoWindow样式
- 手机客户端访问本机计算机局域网服务器
- 计算机等级证书等级及报考条件
- python实现投标报价计算
热门文章
- 45.Linux/Unix 系统编程手册(下) -- System V IPC 介绍
- 2.swoole 安装
- 16. Zend_Controller
- 7.数据对象映射模式
- 19. PHP 表单验证 - 必填字段
- 如何设置Java桌面程序界面外观(How to Set the Look and Feel) UIManager
- jquery中css()与animate()
- 全局异常捕捉用法解析
- [BZOJ4621]Tc605
- 使用角色管理工具 安装或配置microsoft.net framework 3.5 sp1