Sqoop job作业

job 语法Sqoop job作业
1．
$ sqoop job (generic-args) (job-args)
[-- [subtool-name] (subtool-args)]

$ sqoop-job (generic-args) (job-args)
[-- [subtool-name] (subtool-args)]
2．创建job
在这里，我们创建一个名为itcastjob，这可以从RDBMS表的数据导入到HDFS作业。
下面的命令用于创建一个从DB数据库的emp表导入到HDFS文件的作业。

bin/sqoop job --create itcastjob -- import --connect jdbc:mysql://node-1:3306/userdb \
--username root \
--password hadoop \
--target-dir /sqoopresult333 \
--table emp --m 1

注意import前要有空格

3．验证job
‘–list’ 参数是用来验证保存的作业。下面的命令用来验证保存Sqoop作业的列表。

bin/sqoop job --list

4．检查job
‘–show’ 参数用于检查或验证特定的工作，及其详细信息。以下命令和样本输出用来验证一个名为itcastjob的作业。
bin/sqoop job --show itcastjob

5．执行job
‘–exec’ 选项用于执行保存的作业。下面的命令用于执行保存的作业称为itcastjob。
bin/sqoop job --exec itcastjob

6．免密执行job
sqoop在创建job时，使用–password-file参数，可以避免输入mysql密码，如果使用–password将出现警告，并且每次都要手动输入密码才能执行job，sqoop规定密码文件必须存放在HDFS上，并且权限必须是400。
并且检查sqoop的sqoop-site.xml是否存在如下配置：

<property><name>sqoop.metastore.client.record.password</name><value>true</value><description>If true, allow saved passwords in the metastore.</description>
</property>

bin/sqoop job --create itcastjob1 -- import --connect jdbc:mysql://cdh-1:3306/userdb \
--username root \
--password-file /input/sqoop/pwd/itcastmysql.pwd \
--target-dir /sqoopresult333 \
--table emp --m 1

Sqoop job作业相关推荐

sqoop job 作业
目录: 文章目录 #一.最简单的job作业 ##1.创建一个job 将mysql中为emp表的数据导入到hdfs上注意:在创建job时,命令"-- import" 中间有个空格, ...
Apache Sqoop job 作业
创建job 创建一个名为testjob01的job,它可以从RDBMS表的数据导入到HDFS作业. 下面的命令用于创建一个从DB数据库的emp表导入到HDFS文件的作业. sqoop job --cr ...
Sqoop数据的导入导出与job作业
1. Sqoop导入数据站在hadoop的立场看: import:数据导入.RDBMS----->Hadoop export:数据导出.Hadoop---->RDBMS 创建表 SET ...
【华为云技术分享】深入浅出Sqoop之迁移过程源码分析
本文从简单介绍了Sqoop作业执行时相关的类及方法.并将该过程与MapReduce的执行结合,分析数据如何从源端迁移到目的端. Sqoop作业执行过程抛开MR的执行过程,Sqoop执行时用到的关键类 ...
sqoop从musql导入到hive中数据缺失
sqoop从musql导入到hive中数据缺失 sqoop是大数据架构中常用的数据导入导出组件之一,只要简单的设置一些参数就可以将数据库的数据快速导入数据仓库中. 但在实际使用过程中,常常会碰到一些问 ...
Sqoop使用与原理
目录一.概述二.工作机制 1.导入 2.导出三.安装 1.前提概述 2.软件下载 3.安装步骤 4. 修改配置文件 5.拷贝JDBC驱动 6.配置系统环境变量 7.验证安装是否成功 8.测试Sq ...
Sqoop 各大命令解释
Sqoop的本质还是一个命令行工具,和HDFS,MapReduce相比,并没有什么高深的理论. 我们可以通过sqoop help命令来查看sqoop的命令选项,如下: 16/11/13 20:10:1 ...
当我说要做大数据工程师时他们都笑我，直到三个月后……转
GitChat 作者:Fickr孫啟誠原文: 三个月大数据研发学习计划实战解析关注微信公众号:「GitChat 技术杂谈」一本正经的讲技术 [不要错过文末彩蛋] 申明: 本文旨在为普通程序员 ...
大数据学习规划（新手入门）
前言: 一.背景介绍二.大数据介绍正文: 一.大数据相关的工作介绍二.大数据工程师的技能要求三.大数据学习规划四.持续学习资源推荐(书籍,博客,网站) 五.项目案例分析(批处理+实时处理) ...

Sqoop job作业

Sqoop job作业相关推荐

最新文章

热门文章