python读取大文件太慢_python - 为什么使用Python异步从文件读取和调用API比同步慢？

我有一个大文件，每行都有JSON记录。我正在编写一个脚本，以通过API将这些记录的子集上载到CouchDB，并尝试各种方法来查看最快的方法。这是我发现工作最快或最慢的方法（在本地主机上的CouchDB实例上）：

将每个所需的记录读入内存。将所有记录存储在内存中后，为每个记录生成一个上传协程，并立即收集/运行所有协程

同步读取文件，并在遇到所需记录时同步上传

使用aiofiles读取文件，并在遇到所需记录时异步更新

方法1比其他两种方法快得多（大约快一倍）。我很困惑为什么方法2比方法3更快，尤其是与此处的示例相反，该示例异步运行所需的时间比同步运行所需的时间少一半（未提供同步代码，必须自己重写）。是上下文从文件I / O切换到HTTP I / O，尤其是与API上传相比，文件读取的发生频率要高得多吗？

为了进一步说明，这是代表每种方法的一些Python伪代码：

方法1-同步文件IO，异步HTTP IO

import json

import asyncio

import aiohttp

records = []

with open('records.txt', 'r') as record_file:

for line in record_file:

record = json.loads(line)

if valid(record):

records.append(record)

async def batch_upload(records):

async with aiohttp.ClientSession() as session:

tasks = []

for record in records:

task = async_upload(record, session)

tasks.append(task)

await asyncio.gather(*tasks)

asyncio.run(batch_upload(properties))

方法2-同步文件IO，同步HTTP IO

import json

with open('records.txt', 'r') as record_file:

for line in record_file:

record = json.loads(line)

if valid(record):

sync_upload(record)

方法3-异步文件IO，异步HTTP IO

import json

import asyncio

import aiohttp

import aiofiles

async def batch_upload()

async with aiohttp.ClientSession() as session:

async with open('records.txt', 'r') as record_file:

line = await record_file.readline()

while line:

record = json.loads(line)

if valid(record):

await async_upload(record, session)

line = await record_file.readline()

asyncio.run(batch_upload())

我正在使用的文件大小约为1.3 GB，共有100000条记录，我上传了691条。每次上传均以GET请求开头，以查看记录是否已存在于CouchDB中。如果是这样，则执行PUT以使用任何新信息来更新CouchDB记录；如果不是，则将记录过帐到数据库。因此，每个上传都包含两个API请求。出于开发目的，我仅创建记录，因此我运行GET和POST请求，总共1382个API调用。

方法1大约需要17秒，方法2大约需要33秒，方法3大约需要42秒。

python读取大文件太慢_python - 为什么使用Python异步从文件读取和调用API比同步慢？ - 堆栈内存溢出...相关推荐

python读取大文件太慢_强悍的Python读取大文件的解决方案
Python 环境下文件的读取问题,请参见拙文 Python基础之文件读取的讲解这是一道著名的 Python 面试题,考察的问题是,Python 读取大文件和一般规模的文件时的区别,也即哪些接口不适 ...
python读取大文件太慢_python读取大文件越来越慢的原因与解决
背景: 今天同事写代码,用python读取一个四五百兆的文件,然后做一串逻辑上很直观的处理.结果处理了一天还没有出来结果.问题出在哪里呢? 解决: 1. 同事打印了在不同时间点的时间,在需要的地方插入 ...
python读取大文件的坑_Python读取大文件的坑“与内存占用检测
python读写文件的api都很简单,一不留神就容易踩"坑".笔者记录一次踩坑历程,并且给了一些总结,希望到大家在使用python的过程之中,能够避免一些可能产生隐患的代码. 1. ...
python读取大文件的坑_python读取大文件踩过的坑——读取txt文件词向量
在读取https://github.com/Embedding/Chinese-Word-Vectors中的中文词向量时,选择了一个有3G多的txt文件,之前在做词向量时用的是word2vec,所以直 ...
python读取大文件的坑_如何在Python中读取大文件的特定部分
Given a large file (hundreds of MB) how would I use Python to quickly read the content between a spe ...
python读取大文件的某行_python 大文件以行为单位读取方式比对
先前需要做一个使用python读取大文件(大于1G),并逐条存入内存进行处理的工作.做了很多的尝试,最终看到了如下的文章. 该文章实际上提供了集中读取大文件的方式,先经过测试总结如下 1. for l ...
python读取大文件-python如何读取大文件以及分析时的性能优化小技巧
在二代.三代测序背景下,分析人员难免会遇到解析超过1G.或者10G以上的文件.这里将给大家简单介绍下如何用python读取大文件,并给大家提两个优化代码的小建议. 首先,python 读取GB级大文件 ...
python读取大文件-使用Python读取大文件的方法
背景最近处理文本文档时(文件约2GB大小),出现memoryError错误和文件读取太慢的问题,后来找到了两种比较快Large File Reading 的方法,本文将介绍这两种读取方法. 准备工作 ...
使用python读取大文件
读取文件时,如果文件过大,则一次读取全部内容到内存,容易造成内存不足,所以要对大文件进行批量的读取内容. python读取大文件通常两种方法:第一种是利用yield生成器读取:第二种是:利用open( ...
python 读取大文件
python 读取大文件 python读取文件一般情况是利用open()函数以及read()函数来完成: f = open(filename,'r') f.read() 这种方法读取小文件,即读取大小 ...

python读取大文件太慢_python - 为什么使用Python异步从文件读取和调用API比同步慢？ - 堆栈内存溢出...

python读取大文件太慢_python - 为什么使用Python异步从文件读取和调用API比同步慢？ - 堆栈内存溢出...相关推荐

最新文章

热门文章