pymysql.cursors.SSCursor 报错 Previous unbuffered result was left incomplete

读取大数据量时，使用 SSCursor (流式游标) 解决 Python 使用 pymysql 查询大量数据导致内存使用过高的问题

如果用传统的 fetchall() 或 fetchone() 方法，都是先默认在内存里缓存下所有行然后再处理，大量的数据会导致内存资源消耗光，内存容易溢出。

使用 SSCursor (流式游标)，避免客户端占用大量内存。(这个 cursor 实际上没有缓存下来任何数据，它不会读取所有所有到内存中，它的做法是从储存块中读取记录，并且一条一条返回给你。)

使用迭代器而不用 fetchall ,即省内存又能很快拿到数据。

重点注意

因为 SSCursor 是没有缓存的游标,结果集只要没取完，这个 conn 是不能再处理别的 sql，包括另外生成一个 cursor 也不行的。如果需要干别的，请另外再生成一个连接对象。每次读取后处理数据要快，不能超过 60 s，否则 mysql 将会断开这次连接，也可以修改 SET NET_WRITE_TIMEOUT = xx 来增加超时间隔。

**报错 userwarning:previous unbuffered result was left incomplete警告警告（“previous unbuffered result was left incomplete”）python **

以前的未缓冲结果是不完整的 这只是警告，你不必当真。

根本原因是你正在使用

cursorclass=pymysql.cursors.SSCursor

执行其他sql语句，必须 重新建立 连接数据库，不能使用当前连接

流式游标使用方法

import pymysql# 打开数据库连接
conn = pymysql.connect(host='127.0.0.1',db = "c",port=3306,user='root',passwd='123456',charset = 'utf8'# cursorclass=pymysql.cursors.DictCursor, # dict 入库# cursorclass=pymysql.cursors.SSDictCursor # 流式游标
)sql = 'SELECT id FROM c ;'cursor = conn.cursor(pymysql.cursors.SSDictCursor)#这里改游标类型了！！！！！！！# cursor = conn.cursor(pymysql.cursors.SSCursor)#这里改游标类型了！！！！！！！# cursor = conn.cursor() #普通游标cursor.execute(sql)while True:row = cursor.fetchone()if not row:breakprint(row)keywords = row['believe_code']# 更新经纬度up_sql = "UPDATE `c` SET l = '37',n = '114' WHERE id = '21'"try:cur = conn_update.cursor()cur.execute(up_sql)conn_update.commit()cur.close()except:print('失败-更新经纬度')conn_update.rollback()# 关闭游标cursor.close()# 关闭数据库连接conn.close()

pymysql.cursors.SSCursor 报错 Previous unbuffered result was left incomplete相关推荐

UserWarning: Previous unbuffered result was left incomplete
UserWarning: Previous unbuffered result was left incomplete 循环插入和查询中使用 fetchone() 报错 fetchone() : 返回 ...
报错previous declaration invalid use of incomplete type
报错之前 typedef structfloat cut_val;int8_t cut_dim;uint32_t start_idx;uint32_t n;float cut_bounds_lv;fl ...
sqlserver2008安装报错 “Previous releases of Microsoft Visual Studio 2008″ failed.
sqlserver2008安装报错 "Previous releases of Microsoft Visual Studio 2008″ failed. <Date: 2010-04 ...
SVN报错“previous operation has not finished…“的解决办法
SVN因多次操作卡死,报错"previous operation has not finished-", 无法进行任何新操作时,可以在SVN的工作目录下打开命令行窗口,输入&quo ...
Cesium 定位到图层（ImageryLayer）报错 DeveloperError: normalized result is not a number
Cesium 定位到图层(ImageryLayer)报错 DeveloperError: normalized result is not a number 错误原因调试定位问题过程问题解决总结 ...
docker报错：WSL 2 installation is incomplete
docker报错:WSL 2 installation is incomplete 错误原因:大概率是wsl未安装或者是未升级成wsl2 检查wsl版本方法:在powershell中使用命令wsl - ...
python写入数据库_Python pymysql写入数据库报错
我在用Python pymysql写入数据库时一直报错: pymysql.err.InternalError: (1366, u"Incorrect decimal value: 'xa0' ...
Mysql报错：1172 - Result consisted of more than one row
执行mysql函数时报错:1172 - Result consisted of more than one row 函数语句中select into语句中WHERE account = userNam ...
存储过程报错ERROR 117242000 - Result consisted of more than one row
今天在学习sql函数时候遇到以下问题: 参考: 一开始总是在纠结是不是存储过程哪里写错了,最后却发现数据表被人动过,插入了重复的记录,所以在select into 的时候会报错.自己也反应也忒慢了,竟 ...

pymysql.cursors.SSCursor 报错 Previous unbuffered result was left incomplete

pymysql.cursors.SSCursor 报错 Previous unbuffered result was left incomplete相关推荐

最新文章

热门文章