MySQLdb批量插入数据_redice's Blog

MySQLdb批量插入数据

日期:2012-05-01 | 
来源:未知 | 
作者:redice | 
260 人围观 | 
0 人鼓掌了!

鲲鹏Web数据抓取 - 专业Web数据采集服务提供者

测试了一下MySQLdb的executemany()方法,速度是惊人的:10分钟内插入了将近100万的数据。赶快来做个标记!

测试环境:Amazon RDS(Amazon Relational Database Service),数据表中原本有1900万条数据,测试完毕后,数据条数如下:

而之前我用execute()逐条插入同样多的数据竟然花了一个多周!!!

executemany()的用法如下:

view plaincopy to clipboardprint?
  1. cursor.executemany(
  2. """INSERT INTO breakfast (name, spam, eggs, sausage, price)
  3. VALUES (%s, %s, %s, %s, %s)""",
  4. [
  5. ("Spam and Sausage Lover's Plate", 5, 1, 8, 7.95 ),
  6. ("Not So Much Spam Plate", 3, 2, 0, 3.95 ),
  7. ("Don't Wany ANY SPAM! Plate", 0, 4, 3, 5.95 )
  8. ] )
cursor.executemany("""INSERT INTO breakfast (name, spam, eggs, sausage, price)VALUES (%s, %s, %s, %s, %s)""",[("Spam and Sausage Lover's Plate", 5, 1, 8, 7.95 ),("Not So Much Spam Plate", 3, 2, 0, 3.95 ),("Don't Wany ANY SPAM! Plate", 0, 4, 3, 5.95 )] )

http://mysql-python.sourceforge.net/MySQLdb.html

1.2.3版的MySQL-python存在bug,"values"要小写才有效,详情见下面内容:

http://stackoverflow.com/questions/3945642/why-is-executemany-slow-in-python-mysqldb

MySQLdb批量插入数据相关推荐

  1. 用python操作mysql数据库(之批量插入数据)

    #!/usr/bin/env python # -*- coding: utf-8 -*- import MySQLdb #建立连接 conn = MySQLdb.connect(host='127. ...

  2. mysql批量设置自增_mysql自增id怎么批量插入数据

    使用mysql数据库--增 插入一条数据 首先,还是先解释一下如何使用数据库,按照上面的方法就可以连接数据库了.这里要解释两件事情. 1.执行sql语句返回的reCount是什么? 这个recount ...

  3. 批量插入数据库语句java_java相关:MyBatis批量插入数据到Oracle数据库中的两种方式(实例代码)...

    java相关:MyBatis批量插入数据到Oracle数据库中的两种方式(实例代码) 发布于 2020-7-22| 复制链接 本文通过实例代码给大家分享了MyBatis批量插入数据到Oracle数据库 ...

  4. oracle insert汉字出错,Oracle数据库之Oracle批量插入数据SQL语句太长出错:无效的主机/绑定变量名...

    本文主要向大家介绍了Oracle数据库之Oracle批量插入数据SQL语句太长出错:无效的主机/绑定变量名,通过具体的内容向大家展现,希望对大家学习Oracle数据库有所帮助. Oracle数据库,用 ...

  5. linux批量es数据,Elasticsearch批量插入数据

    Elasticsearch批量插入数据 使用bulk批量操作数据库 1. 创建批量操作文件 格式: {"index":{"_index":"home& ...

  6. android SQLite 批量插入数据慢的解决方案 (针对于不同的android api 版本)

    android SQLite 批量插入数据慢的解决方案 (针对于不同的android api 版本) 参考文章: (1)android SQLite 批量插入数据慢的解决方案 (针对于不同的andro ...

  7. php addall,ThinkPHP3.2框架使用addAll()批量插入数据的方法

    这篇文章主要介绍了ThinkPHP3.2框架使用addAll()批量插入数据的方法,结合实例形式分析了thinkPHP针对单条数据插入及批量数据插入操作的相关实现技巧,需要的朋友可以参考下 本文实例讲 ...

  8. .NET Excel 2003 批量插入数据很慢的解决办法

    .Net利用Office组件的操作Excel批量插入数据据的时候,会非常慢. 我也曾经想利用其它组件来实现这个功能,但是效果不是很理想.后来经过查阅资料,发现Excel.Range的Value属性是O ...

  9. bulk_create 批量插入数据

    def booklist(request):# 动态插入100条数据for i in range(100):models.Book2.objects.create(name='第%s本书'%i)#批量 ...

最新文章

  1. 全球机器学习领域顶尖的16家公司
  2. Apiggs —— 非侵入性的 RestDoc 文档生成工具
  3. 微信小程序电商实战-商品列表流式布局
  4. node简单实现一个更改头像功能
  5. 3d 强制添加脚本_每日学点---Jenkins执行脚本权限问题
  6. Verilog功能模块——AXI4-Lite协议主机-连续区间写-使用FIFO
  7. windows git 更改为unix模式换行符决解方法
  8. Spring Boot单元测试报错java.lang.IllegalStateException: Could not load TestContextBootstrapper [null]
  9. 单例 (Singleton)设计模式
  10. 前端学习(3184):ant-design的button介绍按钮属性
  11. Could not clean server of obsolete files
  12. java getid_Java TimeZone getID()方法与示例
  13. Volcano:带你体验容器与批量计算的碰撞的火花
  14. QT:创建一个widget,包含源文件,头文件,以及ui文件
  15. python sort函数返回值_python中 sort方法 和sorted函数
  16. android WPS如何绘图
  17. 转:高级PHP应用程序漏洞审核技术
  18. js:ajax post与get的区别,getjson的使用
  19. 虚拟资源项目是什么?依靠虚拟资源项目月入万元能实现吗?
  20. Ubuntu下使用FreeRadius实现Wifi认证

热门文章

  1. 昨天电脑问题 补昨日8-3复习内容 异常与文件操作
  2. java 枚举常量_java中的枚举类和常量类区别在哪儿?
  3. oracle基本的查询语句,oracle 基本查询语句及实例
  4. 应用指定显示到副屏_彩易达LED显示屏在税务局的应用-彩易达,LED显示屏,在税务局的应用-LED屏行业...
  5. 神策数据张涛:如何让用户标签价值落地?
  6. 编译x86架构的openwrt系统,让笔记本从u盘启动openwrt
  7. 一张图告诉你BCH路线分歧的现状
  8. 位操作——整数用位存储
  9. 《Java 7程序设计入门经典》一3.14 像使用goto语句一样使用break语句
  10. 安全观之我见(三):省银之道在预防