oracle用小表更新大表,Oracle大表更新
出处: fromeasthttp://www.itpub.net/thread-1052077-1-1.html
最近一直在折腾大表的更新问题,今天终于有了突破。兴奋之余发个帖子跟大家分享一下心得,并且讨论一下是否还可能进一步提高处理速度。
问题是这样的:一张5亿条记录的表,没有分区。由于增加了一个冗余字段,需要根据另外一张表(4.8亿条)更新这个大表。下面是具体的描述:
环境:HP-UX 11i+Oracle9.2.0.8+RAID
要更新的表:T1 (id1 number,id2 number, curr_count number,.....) --id1唯一 5亿条记录 >60GB
更新数据来源:T2 (id2 number,curr_count number) --id2唯一 4.8亿
更新逻辑:T2中的每一条记录,都到T1中找到对应的记录(T2.id2=T1.id2),更新T1.curr_count=T2.curr_count
限制条件:只能在线更新(应用程序一直在访问这个表,所以不能用INSERT SELECT),不能占用太多系统资源,要求3天之内更新完毕。
原来的做法:
declare
cursor cur_t2 is
select /*+ use_hash(T1,T2) parallel(T1,16)parallel_index(IX_T1_id2,16) */
T2.id2, T2.curr_count,T1.rowid row_id
from T1, T2
where T1.id2=T2.id2;
v_counter number;
begin
v_counter := 0;
for row_t2 in cur_t2 loop
update T1 setcurr_count=row_t2.curr_count
whererowid=row_t2.row_id;
v_counter := v_counter + 1;
if (v_counter>=1000) then
commit;
v_counter := 0;
end if;
end loop;
commit;
end;
/
问题:更新太慢,260 rows/s,全部更新完毕需要22天!
经过调查发现是UPDATE语句执行的效率太低,进一步的跟踪发现,UPDATE至少90%的时间是在等待db filesequential read这个事件。按说都ROWID了,为什么还有这么多磁盘等待?再看disk reads,明白了,原来UPDATE语句产生了大量的物理读,当然慢了。想必T1表太大了,Data Buffer装不下,并且有其他的表跟它竞争,所以刚更新一条数据,从磁盘读取了一个数据块到内存,很快就被挤去出了,下次更新这个块上的其他数据时,还得再从磁盘读取。这样Data Buffer Cache的效率就很低,基本没有利用上。
怎么解决呢?最好是能按数据块的顺序更新,这样某个数据块里的第一行数据更新后,数据块内的其他行就不用再从磁盘里读取了(不太可能那么快就被挤出内存),物理读降低了,速度肯定能加快。可是怎样按数据块的顺序更新呢?我想到了ROWID的结构是data objectnumber(6位字符串)+relative filenumber(3位字符串)+block number(6位字符串)+row number(3位字符串),那么ROWID的顺序应该就是数据块的顺序了。于是我修改了PLSQL:
alter table T1 storage(buffer_pool keep); -- keep buffer pool size = 6GB
declare
cursor cur_t2 is
select /*+ use_hash(T1,T2)parallel(T1,16) parallel_index(IX_T1_id2,16) */
T2.id2, T2.curr_count,T1.rowid row_id
from T1, T2
where T1.id2=T2.id2
order by T1.rowid; v_counternumber;
begin
v_counter := 0;
for row_t2 in cur_t2 loop
update T1 setcurr_count=row_t2.curr_count
whererowid=row_t2.row_id;
v_counter := v_counter + 1;
if (v_counter>=1000) then
commit;
v_counter := 0;
end if;
end loop;
commit;
end;
/
alter table T1 storage(buffer_pool default);
这回更新的速度大为加快:10000 rows/s。分析跟踪文件表明db filesequential reads和磁盘读取变的很少。按照这个速度20个小时之内就能全部更新完了。
心得:处理的数据量并没有减少,只是改变一下处理的顺序,也可以极大地提高性能。
===========================================================
*后记4:已上生产
*后记3:试验了KEEP的影响
(1)重新运行试验1(不order by rowid)
开始的语句改成:alter table T1storage(buffer_pool keep);
处理速度:73~74行/秒
(2)重新运行试验2(order by rowid):
开始的语句改成:alter table T1storage(buffer_pool default);
处理速度:1万条/秒
结论:从本次测试可以印证先前的推断——把表的buffer_pool属性设为keep与否,对处理速度的影响很小,以至于可以忽略。处理速度加快的原因,是因为order by rowid,按块顺序处理数据,很大程度上减少了物理读。
*后记2:关于order by rowid的资料:
http://rdc.taobao.com/blog/dba/html/199_oracle_rowid_order.html
这篇文章说order by rowid导致大量的查询物理读。其实在本文第二个测试中也是这样的——CURSOR的打开时间比不ORDER BY ROWID时间要长,因为多了SORT。可是这样是值得的,因为后续有大量的UPDATE,节省的物理读是很可观的。
*后记1:修改了几处错误:
where T1.id1=T2.id2 => whereT1.id2=T2.id2
parallel_index(IX_T2_id2,16) =>parallel_index(IX_T1_id2,16)
oracle用小表更新大表,Oracle大表更新相关推荐
- 【Oracle批量更新】根据一个大表批量更新另一大表的方法比较
转载自:http://blog.csdn.net/onemetre/article/details/6525348 [问题]现在有两个千万级别的结构相同数据不同数据表T_SMS_PHONENO(目的表 ...
- oracle 表关联索引优化,Oracle执行计划调优-超级大表关联超级小表的性能调优
今日客户现场出现一个查询SQL异常慢的情况. 用时分钟级别. SELECT * FROM (SELECT a1.*, rownum rn FROM (SELECT openOrder2017.exch ...
- oracle批量更新数据从另一表_常用SQL系列之(五):多表和禁止插入、批量与特殊更新等...
本系统为@牛旦教育IT课堂在微头条上的内容, 为便于查阅,特辑录于此,都是常用SQL基本用法.. 前两篇连接: (一):SQL点滴(查询篇):数据库基础查询案例实战 (二):SQL点滴(排序篇):数据 ...
- oracle查询挂起,表挂起更新查询Oracle 11g(Table hangs on Update query Oracle 11g)
表挂起更新查询Oracle 11g(Table hangs on Update query Oracle 11g) 我正在更新一个Oracle表字段,引用另一个具有类似Key字段的表,但在此特定表上, ...
- oracle表空间undotbs1,解决Oracle 表空间UNDOTBS1太大的有关问题
解决Oracle 表空间UNDOTBS1太大的问题 UNDOTBS1是一个回滚表空间,随着数据库的使用,默认会自动扩展.当它增大到一定程度,占用了过多的磁盘空间时,就需要进行清理了.下面就在2种操作系 ...
- oracle表空间一般建多大,Oracle表空间创建参数解析
表空间Tablespace是Oracle数据库逻辑结构中的一个层次.创建管理表空间和对应的数据文件,是DBA的一项重要工作内容.本篇从不同的表空间特性谈起,说明使用的参数特性. 下面是一个使用命令行创 ...
- oracle 审计drop单张表,sysaux表空间中,审计信息表aud$过大清理实例
巡检发现系统system表空间达到26G,正常情况下其大小最多几个G.这里发现其只要原因是aud$信息过大导致. oracle 11g 是默认开启审计DB,在数据库运行过程中,会将审计信息放入aud$ ...
- oracle创建表,选择,插入,更新,删除,丢弃表,回收站,清除
Module1 Creating Tables 表是Oracle数据库中数据存储的基本单元.数据按行和列存储.使用表名(如employees)和一组列定义表.为每个列指定一个列名,例如employee ...
- oracle 子表数据变化时主表也会更新_亿信ABI版本重大更新,新增60余个实用新功能,还有一项黑科技...
今年,亿信ABI横空出世,产品一经推出,前来体验.咨询.购买的客户络绎不绝.老板点赞,客户开心,年终奖感觉又要翻几番. 但是紧接而来的是,广大用户对于产品优化的需求就如同潮水一般涌来-- 为此,我们的 ...
最新文章
- 跟小静读CLR via C#(05)- 访问限定、数据成员
- 如何安装部署秋色园QBlog站点
- Linux Ubuntu 修改Grub,添加删除启动项,初步辨析Grub文件。
- OrganicsDelivery总结
- mongodb 持久性_多语言持久性:带有MongoDB和Derby的EclipseLink
- Html.RenderPartial和Html.Partial在Razor视图中的区别
- 戴尔科技:以技术突破创新边界!
- Kubernetes 入门:运行不同类型的 Job
- 博客文章加线框/表格
- mysql怎么删除父行_PHP MySQL删除父行和子行
- python爬虫知乎问答
- 《不抱怨的世界》-- 威尔·鲍温(Will Bowen)
- mysql的msi文件下载
- 游戏创业团队应该选择Git还是Svn
- Android 打开第三方地图App进行导航
- (一)论文阅读 | 目标检测之CornerNet
- Oracle Datapump实验
- Word删除关键字所在行
- Glossary - 术语对照表 5
- python 电脑文件变动提醒_Python实现定时弹窗提醒