impdp 并行_Expdp/Impdp 并行导入导出详细测试结果
导出时间成绩
1个并行文件 1:05
2个并行 0:56:36
3个并行 0:30:41
4个并行 0:51
6个并行 1:21
注意到没有,不是什么数量的并行值都能快速的导出,期间使用sar -ud 5 1000,监控磁盘I/O情况,发现在最快的3个管道的时侯I/O等待为40-50,1个管道的时侯I/O等待只有5-10个,6个管道的时侯是70-80的I/O等待,因此我认为无论是那种平台导出要想更快,一定要压榨I/O的能力,尽量使i/o等待在30-50之间,太多了I/O能力反而可能下降,看来在这个平台上,3个管道是最好的呵呵,导出时的PARALLEL应该是指生成的数据文件过程的I/O进程数,如果指定了%U参数,也将是文件数。
导入时间:
导入脚本
nohup impdp system/manager schemas=kdjm DIRECTORY=DUMP_FILES PARALLEL=12 dumpfile=KDMJ2008-12-11_%U.dmp logfile=KDMJ2008-12-11.log&
导入时ORACLE参数配置,导出时好像配啥参数都没有效果呵呵
alter system set db_file_multiblock_read_count=256 scope=spfile;
alter system set pga_aggregate_target=4G scope=spfile;
alter system set shared_pool_size=4G scope=spfile;
alter system set db_cache_size=18G scope=spfile;
alter system set sga_max_size=24G scope=spfile;
alter system set sga_target=24G scope=spfile;
alter system set processes=400 scope=spfile;
排序区=1.5G
alter system set sort_area_size=1610612736 scope=spfile;
导入耗时成绩
1个并行,1个导入文件 11:27:21
4个并行,4个导入文件6:12:32
8个并行,4个导入文件4:42:45
12个并行,3个导入文件3:42:27
14个并行,3个导入文件4:40:13
16个并行,2个导入文件4:39:07
看到没有,导入选择合理的参数,从11个多小时降到3小时多一点,差异非常巨大,这样的差距,尽量在导入的时侯压榨I/O的压力,是说不通的。事实上到了导入后半程,SAR监控到的I/O压力并不大,是什么影响了导入的速度?我看到一个出错的语句帮助我解开了这个秘密,这个出错的语句是创建索引的语句
这是出错的语句,应该是开发错误地将创建索引的表空间指到了SYSAUX,从而导致出错了,注意最后的
PARALLEL 8
ORA-31685: Object type INDEX:"DBSNMP"."DK_WERR" failed due to insufficient privileges. Failing sql is:
CREATE INDEX "DBSNMP"."DK_WERR" ON "KDMJ"."DK_WERR" ("SCY", "AWERR") PCTFREE 10 INITRANS 2 MAXTRANS 255 STORAGE(INITIAL 65536 NEXT 1048576 MINEXTENTS 1 MAXEXTENTS 2147483645 PCTINCREASE 0 FREELISTS 1 FREELIST GROUPS 1 BUFFER_POOL DEFAULT) TABLESPACE "SYSAUX" PARALLEL 8
这个出错,让我们知道导入时指定PARALLEL值实际是用在创建索引的并行度上的,所以导入的时侯选择较高的并行度是可以大幅度提高创建索引的速度,从而加快了导入的速度。其实从导入数据来看,无论你选择多少个并行值,都是在1个小时左右数据就全部导入了,这时查询数据能查询到,但是没有索引,无论那种导入方式浪费时间,最多都是创建索引的时间,我们修改创建索引的并行度,使创建索引的速度大大增加了,当然增加到更多的值,会产生的I/O和锁之类的竞争,从而导致速度下降了,我们看到14个并行值和16个并行值还不如12个的,另外要特别指出一点,导入的时侯PARALLEL值和导出时的PARALLEL值可以完全不同的,估计好多人和我以前的理解一样,认为导入导出的数量要严格相等的,但是手册推荐导入数量要等于导出的数量罢了。
如果要给导入一个合理的PARALLEL值,通过测试,我认为是可用的CPU数(不管你是虚拟的还是多核的)的60-70%左右的值是一个比较好的值。当然如果有可能还是测试一下来决定一个最优的值吧。
impdp 并行_Expdp/Impdp 并行导入导出详细测试结果相关推荐
- Expdp/Impdp 并行导入导出详细测试
关于Expdp/Impdp 并行导入导出详细测试结果和并行参数的正确理解!! 由于准备做一个120G左右的数据库的数据迁移,使用EXPDP和impdp做了一系列的测试 导出环境 4CPU AIX P4 ...
- expdp oracle 并行_关于Expdp/Impdp 并行导入导出详细测试结果和并行参数的正确理解!!...
由于准备做一个120G左右的数据库的数据迁移,使用EXPDP和impdp做了一系列的测试 导出环境 4CPU AIX P4 -750M 16G 内存 导入环境 4CPU AIX P6-4G 32G ...
- 关于Expdp/Impdp 并行导入导出详细测试结果和并行参数的正确理解!!
由于准备做一个120G左右的数据库的数据迁移,使用EXPDP和impdp做了一系列的测试 导出环境 4CPU AIX P4 -750M 16G 内存 导入环境 4CPU AIX P6-4G 32G ...
- oracle 的导入导出,Oracle 导入导出详细介绍
数据库version 导入导出工具 ( from )导出数据库 ( to )导入数据库 Expdp/Impdp 11.2.0.2.0 10.2.0.3.0 From 11g(11.2.0.2.0) t ...
- 数据泵expdp/impdp导入导出详细说明
目录 1.数据泵导出expdp详细参数 2.数据泵导入impdp详细参数 3.数据泵作业参数详细说明 3.1 EXPDP命令行选项 3.1.1 ATTACH 3.1.2 CONTENT 3.1.3 D ...
- impdp 并行_EXPDP/IMPDP 中的并行度PARALLEL参数
如果设置 EXPDP parallel=4 必须要设置4个EXPDP文件,不然PARALLEL是有问题的,同时EXPDP会使用一个WORKER进程导出METADATA,其他WORKER进程会同时出数据 ...
- POI和Java Excel Api导入导出----详细到你不敢相信
来自:http://blog.csdn.net/jerehedu/article/details/45195359 一.介绍 当前B/S模式已成为应用开发的主流,而在企业办公系统中,常常有客户这样子要 ...
- Excel导入导出详细教程------EasyExcel功能整合
最详细的教程------EasyExcel导入与导出功能整合 1.开发环境参数 name Value 开发工具 Intellij IDEA 2018 框架 SpringBoot(maven项目也可以) ...
- oracle数据库导入导出expdp/impdp命令详细操作过程
一. 我们为什么现在要用expdp/impdp命令,而不是使用exp/imp命令来备份/还原数据库? expdp/impdp命令,我们也通常称之为"数据泵(DataPump)",它 ...
最新文章
- http error code
- c语言数组输出最大值和次大值,求给定数组的最大值与次大值
- 【HDU - 1702 】ACboy needs your help again! (栈和队列,水题模拟)
- C++(17)--详解const
- 2017年WorkApplication牛客网线上机试题
- 分形与数据结构第一篇(神奇的色子)
- atitit.软件gui按钮and面板---os区-----软链接,快捷方式
- 三相逆变器仿真matlab,在MATLAB中实现三相电压型逆变器仿真
- java-序列化以及反序列化
- 网站建设项目管理——8个步骤教你管理网站建设项目
- 刷计算机应用教程,电脑怎么用Word格式刷?电脑使用Word格式刷的方法
- 依赖函数检查 mysql_connect()_解决的方法:mysql_connect()不支持请检查mysql模块是否正确载入...
- Primeng CascadeSelect UI显示BUG解决方案
- python目前版本强势英雄_王者荣耀:分析S10星耀局以上一些强势英雄及版本目前排位的形势...
- 【Linux】/lib/ld-linux.so.2: bad ELF interpreter: No such file or directory
- 锁相环的组成和原理及应用
- GE可能会出售其工业软件业务的股份
- VSCode配置C/C++(单文件+项目)自救指南
- 行至水穷处,坐看云起时
- 抖音矩阵号系统搭建之企业号私信功能开发