一个大数据批量插入和更新的问题

2019独角兽企业重金招聘Python工程师标准>>>

sql server批量插入数据和更新数据。

加入现在有个需求是这样的，

用户上传两个文件，每个文件的数据条数都很大，如果一条数据既在A表出现，又在B表中出现，那么A表该条数据某个值设置为true；

在代码中处理这个问题的方便之处在于，你可以将比对后最终的数据存入数据库，但是发现，即使将两个表的数据都读到内存中，但是4，5十万的信息量，在内存中作上述逻辑依然会很慢。因为内存中查找数据似乎是便利，所以花费总时间很大。

如果将A表批量存入数据库，再通过B表的数据批量更新A表相关数据的字段，，一样是查找，但是数据库通过在相关列上建立了索引，所以查找时间相当短。

如果可以，将数据查询的任务交给 sqlserver，因为它对通过索引来查询数据，比较快。

转载于:https://my.oschina.net/u/867090/blog/134842

一个大数据批量插入和更新的问题相关推荐

C#中几种数据库的大数据批量插入
C#语言中对SqlServer.Oracle.SQLite和MySql中的数据批量插入是支持的,不过Oracle需要使用Orace.DataAccess驱动. IProvider里有一个用于实现批量插 ...
【转】几种数据库的大数据批量插入
在之前只知道SqlServer支持数据批量插入,殊不知道Oracle.SQLite和MySql也是支持的,不过Oracle需要使用Orace.DataAccess驱动,今天就贴出几种数据库的批量插入解 ...
大数据批量插入小练习_SqlServer
这几天把sqlserver批量插入也整理了一下,性能方面有很大的提高,下面直接上代码 using System; using System.Collections.Generic; using Sys ...
批量插入或更新数据(MyBatis-plus框架)
目录 1.场景说明 2.DUPLICATE 和REPLACE比较 3.批量插入或者更新(两种方式) 方式一:mybatis-plus的saveOrUpdateBatch方法问题:如果操作类集成了基础 ...
mysql 大数据量插入遇到瓶颈可行性方案探究
数据迁移.数据恢复往往都需要做大数据量的插入操作,但是,不同的插入方法对性能的影响也是非常大的插入数据分析一次插入多行的值插入行所需的时间由以下因素决定(参考 MySQL 5.7 参考手册: 8 ...
转载---SQL Server XML基础学习之7--XML modify() 方法对 XML 数据中插入、更新或删除...
/*------------------------------------------------------------------------------+ #| = : = : = : = : ...
pg批量插入_PostgreSQL实现批量插入、更新与合并操作的方法
前言就在 2019 年 1 月份微软收购了 PostgreSQL 数据库的初创公司 CitusData, 在云数据库方面可以增强与 AWS 的竟争.AWS 的 RDS 两大开源数据库就是 MySQL ...
PostgreSQL实现批量插入、更新与合并操作的方法_PostgreSQL_脚本之家
前言就在 2019 年 1 月份微软收购了 PostgreSQL 数据库的初创公司 CitusData, 在云数据库方面可以增强与 AWS 的竟争.AWS 的 RDS 两大开源数据库就是 MySQL ...
mysql插入数据返回主键值_Mysql千万级别数据批量插入只需简单三步！
第一步:配置my.ini文件文件中配置 bulk_insert_buffer_size=120M 或者更大将insert语句的长度设为最大. Max_allowed_packet=1M Net_b ...
bulkwrite 批量插入_SQL SERVER 使用BULK Insert将txt文件中的数据批量插入表中（1）
1/首先建立数据表 CREATE TABLE BasicMsg ( RecvTime FLOAT NOT NULL , --接收时间,不存在时间相同的数据 AA INT NOT NULL, --24位 ...

一个大数据批量插入和更新的问题

一个大数据批量插入和更新的问题相关推荐

最新文章

热门文章