导入大量数据，比如300G数据，导出500G数据需要考虑的问题

1.假设导入到99%，你花了8个小时，但是最后，你设置表空间数据不够，导入报错，怎么办？
这次导入会不会报错？会不会回滚？
空间不够，是致命错误。会回滚。但是有个参数，resumable,resumable=y resumable_timeout=28800允许我们挂起，等待一段时间。

2.导入大量数据，花的时间很长。我们要知道，进度是怎么样了？是否挂起？是否仍在导入？
第一，设置响应参数feedback=10000000，第二，看插入日志
第三，看资源管理器中相关进程cpu，硬盘是否在使用，第四看写入文件是否有变化
第五，最好的方式是看会话v$session中有个sql_id,这个字段就是记录了当前会话正在进行执行什么sql语句。
3.怎么样导入更快？
设置表nologging.直接路径导入。暂时不导入索引。
insert /*+append*/ into card_trade_detail

4.切割大文件的操作。大文件比如300G，你会遇到这样一些问题，比如，你拷贝一个300G文件从硬盘到移动硬盘，刚开始很快，600M/s,到后面变成30M/s,头疼吧。这样我们导出的时候需要进行文件切割。把大文件切割成小分件，比如切割成5G拷贝，也很慢。

5.以下是一些经验数据
(1)486万 225秒,每个segment 840M 451万：49秒 497万：53 一年的数据文件434G
当前数据量是1.1亿，创建索引为：
create index idx_ctd_card_inner_no_gl on CARD_TRADE_DETAIL(card_inner_no) global tablespace cardidx01;
花去时间为：369秒，索引大小是4G .
(2)1.1亿数据索引 uk_ctd_gl_1 7个字段建立唯一索引，花去时间为253秒，索引大小为6.8G
(3)18亿数据索引 uk_ctd_gl_1 7个字段建立主键索引，索引大小为144G;
(4)导入300G数据，在dellr730机器上上插入花时8个小时。
在dellr730机器，18亿数据索引 uk_ctd_gl_1 7个字段建立主键索引，索引大小为112G，建立52分钟。
(5)最后我说下其中比较坑爹的一次部署：把18亿500G数据导出来，花时40分钟。把225G数据导出到优盘，时间是5小时。从优盘拷贝到客户电脑中转机1小时。从中转机拷贝到aix系统，6小时。导入数据时间是5小时。

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/30393770/viewspace-2144424/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/30393770/viewspace-2144424/

导入大量数据，比如300G数据，导出500G数据需要考虑的问题相关推荐

通达信数据excel接口能导出板块数据吗？
通达信数据excel接口能导出板块数据吗?可以的,只是过程有点复杂,制作大约需要一个小时左右,然后每天就简单多了,只需要几十秒或者几分钟. 通达信数据excel接口TickRecord逐笔(部分) 1 ...
php系统导出数据到excel,php导出大量数据到excel时，有哪些比较好的处理方法？...
导出csv就行 $columns = ['你导出的字段','你导出的字段','你导出的字段',..........]; $csvFileName = 'test.csv'; header('Conte ...
python获取股票财务报表数据生成excel_(python导出股票数据到excel表格)如何将python输出的内容输入到表格Excel中...
如何将python输出的内容输入到表格Excel中假如你还没有数据,手动敲进去一个frame. 你也可以用别的方式入的,网上抓的,都可以. data={'name':['zhangssan','li ...
Hive导出复杂数据到csv文件
工作中经常遇到使用Hive导出数据到文本文件供数据分析时使用.Hive导出复杂数据到csv等文本文件时,有时会遇到以下几个问题: 导出的数据只有数据没有列名. 导出的数据比较复杂时,如字符串内包含一些 ...
iview table数据直接导出_使用iview的exportcsv怎样导出嵌套数据
使用iview的Table组件导出CSV文件导出数据 data(){ return { data:[ {id:1,name:'名称1',category:{id: ...
ERP系统如何通过存储过程导出报表数据
ERP系统如何通过存储过程导出报表数据 ERP系统如何导出报表数据总所周知,ERP系统本身框架自带有报表导出功能,但是如果数据量如果过多的话(比方说超过1百万数据量的话),会出现导出数据耗时长等现象 ...
js+PHP利用PHPExcel导出表格数据到excel
这里写自定义目录标题前言通过js筛选出表格数据 PHP利用PHPExcel导出表格数据到excel 前言因为在开发平台的时候遇到了需要将表格数据导出到Excel的情况,通过百度找到了PHP插件P ...
mysql 导出中间数据_MYSQL数据库之间的数据导出与导入
源数据库地址: 172.16.1.7 目标数据库地址: 172.16.1.51 步骤: (1) 进入172.16.1.7服务器,登录mysql数据库 mysqldump -uusername -ppa ...
db2 linux 导入数据_「软件资料」-「软件使用」-Linux 导入、导出 MySQL 数据库命令...
一.导出数据库 1.导出完整数据:表结构+数据 Linux 下可以使用 mysqldump 命令来导出数据库,语法格式如下:mysqldump -u用户名 -p 数据库名 > 数据库名.sql ...

导入大量数据，比如300G数据，导出500G数据需要考虑的问题

导入大量数据，比如300G数据，导出500G数据需要考虑的问题相关推荐

最新文章

热门文章