sql loader导出数据和导入数据(sqlldr)
一般我我们对表进行数据迁移的时候会用以下几种方法:
1. A表记录利用toad或者pl/sql工具将其导出为一条条分号隔开的insert语句,然后再执行插入到B表中
2.建立数据库间的dblink,然后使用 create table B as select * from A@dblink where...,或者insert into B select * from A@dblink where...
3.exp/expdp A表,再imp/impdp到B表
那么除了上面的三种常用的方法,还有其他比较好的方法进行数据迁移吗,下面介绍oracle自带的Sql Loader(sqlldr)的用法。
在命令下执行oracle 的sqlldr命令,我们可以看到详细的参数说明:
userid -- ORACLE 用户名/口令 control -- 控制文件名 log -- 记录导入时的日志文件,默认为 控制文件(去除扩展名).log bad -- 坏数据文件,默认为 控制文件(去除扩展名).bad data -- 数据文件,一般在控制文件中指定。用参数控制文件中不指定数据文件更适于自动操作 discard -- 废弃文件名 discardmax -- 允许废弃的文件的数目 (全部默认) skip -- 要跳过的逻辑记录的数目 (默认 0) load -- 要加载的逻辑记录的数目 (全部默认) errors -- 允许的错误记录数,可以用他来控制一条记录都不能错 (默认 50) rows -- 常规路径绑定数组中或直接路径保存数据间的行数 (默认: 常规路径 64, 所有直接路径) bindsize -- 常规路径绑定数组的大小 (以字节计) (默认 256000) silent -- 运行过程中隐藏消息 (标题,反馈,错误,废弃,分区) direct -- 使用直接路径 (默认 FALSE) parfile -- 参数文件: 包含参数说明的文件的名称 parallel -- 执行并行加载 (默认 FALSE) file -- 要从以下对象中分配区的文件 skip_unusable_indexes -- 不允许/允许使用无用的索引或索引分区 (默认 FALSE) skip_index_maintenance -- 没有维护索引, 将受到影响的索引标记为无用 (默认 FALSE) commit_discontinued -- 提交加载中断时已加载的行 (默认 FALSE) readsize -- 读取缓冲区的大小 (默认 1048576) external_table -- 使用外部表进行加载; NOT_USED, GENERATE_ONLY, EXECUTE (默认 NOT_USED) columnarrayrows -- 直接路径列数组的行数 (默认 5000) streamsize -- 直接路径流缓冲区的大小 (以字节计) (默认 256000) multithreading -- 在直接路径中使用多线程 resumable -- 启用或禁用当前的可恢复会话 (默认 FALSE) resumable_name -- 有助于标识可恢复语句的文本字符串 resumable_timeout -- RESUMABLE 的等待时间 (以秒计) (默认 7200) date_cache -- 日期转换高速缓存的大小 (以条目计) (默认 1000) no_index_errors -- 出现任何索引错误时中止加载 (默认 FALSE)
用例子来演示 sqlldr 的使用,有两种使用方法:
第一种方式: 使用一个控制文件(作为模板) 和一个数据文件
一般为了利于模板和数据的分离,以及程序的不同分工会使用该种方式。数据文件可以是 CSV 文件或者以其他分割符分隔的,数据文件可以用 PL/SQL Developer 或者 Toad 导出,也可以用 SQL *Plus 的 spool 格式化产出,或是 UTL_FILE 包生成。另外,用 Toad 还能直接生成包含数据的控制文件。
首先我们创建一个测试表,并插入几条测试数据
create table users(userid int,username varchar2(50),logintimes int,last_login date ) insert into users values(1,'shiyu',3,to_date('2018-06-15','YYYY-MM-DD')); insert into users values(2,'yu',5,to_date('2018-07-15','YYYY-MM-DD')); insert into users values(3,'shi ',8,to_date('2018-01-02','YYYY-MM-DD')); insert into users values(4,'yushi',NULL,NULL); insert into users values(5,'yuhuashi ',1,to_date('2017-12-23','YYYY-MM-DD'));
1) 建立数据文件,我们这里用 PL/SQL Developer 导出表 users 的记录为 users_data.csv 文件,内容如下:
" ","USERID","USERNAME","LOGINTIMES","LAST_LOGIN"
"1","1","shiyu","3","2018-06-15"
"2","2","yu","5","2018-07-15"
"3","3","shi ","8","2018-01-02"
"4","4","yushi","",""
"5","5","yuhuashi ","1","2017-12-23"
2) 建立一个控制文件 users.ctl,内容如下:
OPTIONS (skip=1,rows=128) -- sqlldr 命令显示的 选项可以写到这里边来,skip=1 用来跳过数据中的第一行 ,rows=128 代表每128行数--据提交一次 LOAD DATA INFILE "/home/oracle/script/users_data.csv" --指定外部数据文件,可以写多 个 INFILE "another_data_file.csv" 指定多个数据文件 --这里还可以使 用 BADFILE、DISCARDFILE 来指定坏数据和丢弃数据的文件, --truncate --操作类型,用 truncate table 来清除表中原有 记录 append INTO TABLE test_users -- 要插入记录的表,这里插入到另外一张表里 Fields terminated by "," -- 数据中每行记录用 "," 分隔 Optionally enclosed by '"' -- 数据中每个字段用 '"' 框起,比如字段中有 "," 分隔符时 trailing nullcols --表的字段没有对应的值时允 许为空 ( virtual_column FILLER, --这是一个虚拟字段,用来跳 过由 PL/SQL Developer 生成的第一列序号 userid, username, logintimes, last_login DATE "YYYY-MM-DD HH24:MI:SS" -- 指定接受日期的格式,相当用 to_date() 函数转换 )
说 明:在操作类型 truncate 位置可用以下中的一值:
1) insert --为缺省方式,在数据装载开始时要求表为空
2) append --在表中追加新记录
3) replace --删除旧记录(用 delete from table 语句),替换成新装载的记录
4) truncate --删除旧记录(用 truncate table 语句),替换成新装载的记录
3) 执行命令:
具体执行结果如下:
[oracle@foidndb script]$ sqlldr dairy/oracle control=users.ctl SQL*Loader: Release 11.2.0.4.0 - Production on Thu Aug 2 16:21:58 2018 Copyright (c) 1982, 2011, Oracle and/or its affiliates. All rights reserved. Commit point reached - logical record count 5
执行完 sqlldr 后希望能留意一下生成的几个文件,如 users.log 日志文件、users.bad 坏数据文件等。特别是要看看日志文件,从中可让你更好的理解 Sql Loader,里面有对控制文件的解析、列出每个字段的类型、加载记录的统计、出错原因等信息。
第二种方式:只使用一个控制文件,在这个控制文件中包含数据
1) 把 users_data.cvs 中的内容补到 users.ctl 中,并以 BEGINDATA 连接,还要把 INFILE "users_data.csv" 改为 INFILE *。同时为了更大化的说明问题,把数据处理了一下。此时,完整的 users.ctl 文件内容是:
OPTIONS (skip=1,rows=128) -- sqlldr 命令显示的 选项可以写到这里边来,skip=1 用来跳过数据中的第一行 LOAD DATA INFILE * -- 因为数据同控制文件在一 起,所以用 * 表示 append -- 这里用 了 append 来操作,在表 users 中附加记录 INTO TABLE test_users when LOGINTIMES<>'8' -- 还可以用 when 子 句选择导入符合条件的记录 Fields terminated by "," trailing nullcols ( virtual_column FILLER, --跳过 由 PL/SQL Developer 生成的第一列序号 userid , --这一列直接取序列的下一值,而不用数据中提供的值 "user_seq.nextval"username "'Hi '||upper(:username)",--,还能用SQL函数或运算对数据进行加工处理 logintimes terminated by "," NULLIF (logintimes='NULL') --可为列单独指定分隔符 last_login DATE "YYYY-MM-DD HH24:MI:SS" NULLIF (last_login="NULL") --当字段为"NULL"时就是 NULL ) BEGINDATA --数据从这里开始 ,USERID,USERNAME,LOGINTIMES,LAST_LOGIN1, 1, shiyu, 3, 2018/6/152, 2, yu, 5, 2018/7/153, 3, shi, 8, 2018/1/24, 4, yushi, NULL, NULL 5, 5, yuhuashi, 1, 2017/12/23
2) 执行和上面一样的命令即可
最后说下有关 SQL *Loader 的性能与并发操作
1) ROWS 的默认值为 128,你可以根据实际指定更合适的 ROWS 参数来指定每次提交记录数。(体验过在 PL/SQL Developer 中一次执行几条条以上的 insert 语句的情形吗?)
2)常规导入可以通过使用 INSERT语句来导入数据。Direct导入可以跳过数据库的相关逻辑(DIRECT=TRUE),而直接将数据导入到数据文件中,可以提高导入数据的 性能。当然,在很多情况下,不能使用此参数(如果主键重复的话会使索引的状态变成UNUSABLE!)。
3) 通过指定 UNRECOVERABLE选项,可以关闭数据库的日志。这个选项只能和 direct 一起使用。
4) 对于超大数据文件的导入就要用并发操作了,即同时运行多个导入任务.
sqlldr userid=/ control=result1.ctl direct=true parallel=true sqlldr userid=/ control=result2.ctl direct=true parallel=true sqlldr userid=/ control=result2.ctl direct=true parallel=true
当加载大量数据时(大约超过10GB),最好抑制日志的产生:
SQL>ALTER TABLE XXX nologging;
这样不产生REDO LOG,可以提高效率。然后在 CONTROL 文件中 load data 上面加一行:unrecoverable, 此选项必须要与DIRECT共同应用。
在并发操作时,ORACLE声称可以达到每小时处理100GB数据的能力!其实,估计能到 1-10G 就算不错了,开始可用结构 相同的文件,但只有少量数据,成功后开始加载大量数据,这样可以避免时间的浪费。
sql loader导出数据和导入数据(sqlldr)相关推荐
- informix数据库unload导出数据Load导入数据
informix数据库unload导出数据&&Load导入数据 进入数据库 执行命令 dbaccess test - - 例如: 导出全部数据 unload to /opt/info ...
- java sqlldr导入_使用SQL*LOADER将TXT或CSV数据导入ORACLE(转)
一.简介 SQL*LOADER是ORACLE的数据加载工具,通常用来将操作系统文件迁移到ORACLE数据库中.SQL*LOADER是大型数据仓库选择使用的加载方法,因为它提供了最快速的途径(DIREC ...
- oracle sqlload速度加快,oracle,sql loader 及 快速生成大量数据 CSV文件sqlldr
要测试sql loader 以及快速产生大量测试数据 生成大量测试数据思路. 一,用plsql developer 生成csv 文件 二,用>>输出重定向,追加到一个cvs 文件里. 三, ...
- oracle数据库导出灰色_oracle数据库导出和oracle导入数据的二种方法(oracle导入导出数据)...
方法一:利用PL/SQL Developer工具导出: 菜单栏---->Tools---->Export Tables,如下图,设置相关参数即可: 方法二:利用cmd的操作命令导出,详情如 ...
- SQL Server数据库中批量导入数据的四种方法总结
在软件项目实施的时候,数据导入一直是项目人员比较头疼的问题.其实,在SQL Server中集成了很多成批导入数据的方法.有些项目实施顾问头疼的问题,在我们数据库管理员眼中,是小菜一碟.现在的重点就是, ...
- oracle 数据导入 mysql_oracle数据库导出和oracle导入数据的二种方法(oracle导入导出数据)...
这篇文章主要介绍了oracle导入导出数据的二种方法,利用PL/SQL Developer工具导出和利用cmd的操作命令导出的出方法,大家参考使用吧 方法一:利用PL/SQL Developer工具导 ...
- oracle数据库导出和oracle导入数据的二种方法(oracle导入导出数据)
这篇文章主要介绍了oracle导入导出数据的二种方法,利用PL/SQL Developer工具导出和利用cmd的操作命令导出的出方法,大家参考使用吧 方法一:利用PL/SQL Developer工具导 ...
- SQLite实用武器库(1)利用dump命令和read命令导出数据、导入数据
调试环境: ubuntu 16.04 Android sdk 7.1.1 / platform-tools sqlite3 (1)创建数据库文件 无需手动创建db文件,直接在命令行执行: ~/test ...
- 3.2.3 Sqoop 数据迁移工具, 导入数据import, MySQL到HDFS/Hive, 导出数据export,增量数据导入, Sqoop job,常用命令及参数
目录 数据迁移工具 -- Sqoop 第一部分 Sqoop概述 第二部分 安装配置 第三部分 应用案例 第 1 节 导入数据import MySQL 到 HDFS MySQL 到 Hive 第 2 节 ...
最新文章
- 使用 PHP 在站点上构建类似 Twitter 的系统
- RabbitMQ消息发送和接收
- Mule的基本配置元素:Endpoint、Transformer、Filter、Flow
- ADAMoracle预言机的发展趋势和特点
- 惯性制导精度是多少_我国东风41精度凭啥第一?激光陀螺仪不算啥,太空水漂才真厉害...
- JQuery1.2.6 ui.dialog控件在IE6下标题栏显示不正常的问题解决
- Activity使用Intent启动另一个Activity
- linux popen阻塞_linux popen()与system()的区别
- 如何使用计算机还原魔方?
- 【JAVA】交错字符串——力扣每日一题(六)(2020.07.18)
- 使用scrapy爬取京东产品详细信息
- 用html做一个拍拍网界面视频,用canvas做一个DVD待机动画的实现代码
- 计算机软件工程考研考哪些专业,2022考研:软件工程考研考什么科目?
- nlp中文本相似度匹配
- pandas 用ExcelWriter 写dataframe到excel 单元格格式单独设置写入方法
- C++打卡19-【排序模板】归并排序
- chrome卸载之后再安装无法成功
- 跨界 Bio+IT,推文汇总(推荐收藏)
- python常用库详解,超详细
- 瑞萨单片机之Flash存储
热门文章
- 在kubernetes集群用helm离线安装harbor
- Equalize Them All
- 编写一个程序,输入直角三角形的两个直角边的长度a、b,求斜边c的长度。
- Heart Rate Variability Analysis with the HRV Toolkit: Basic Time and Frequency Domain Measures/背景
- 看这篇就够了——ubuntu扩展屏幕及装显卡驱动后黑屏问题
- python二手交易系统毕业设计开题报告
- C语言石头剪刀布游戏课设
- kali 插耳机没声音
- moment常用函数
- day5有效字母得移位两个数组的交集快乐数两个数之和