SQOOP Job使用

一、SQOOP Job 使用方法查看

sqoop  job    --help

usage: sqoop job [GENERIC-ARGS] [JOB-ARGS] [-- [<tool-name>] [TOOL-ARGS]]Job management arguments:--create <job-id>            Create a new saved job--delete <job-id>            Delete a saved job--exec <job-id>              Run a saved job--help                       Print usage instructions--list                       List saved jobs--meta-connect <jdbc-uri>    Specify JDBC connect string for themetastore--show <job-id>              Show the parameters for a saved job--verbose                    Print more information while workingGeneric Hadoop command-line arguments:
(must preceed any tool-specific arguments)
Generic options supported are
-conf <configuration file>     specify an application configuration file
-D <property=value>            use value for given property
-fs <local|namenode:port>      specify a namenode
-jt <local|resourcemanager:port>    specify a ResourceManager
-files <comma separated list of files>    specify comma separated files to be copied to the map reduce cluster
-libjars <comma separated list of jars>    specify comma separated jar files to include in the classpath.
-archives <comma separated list of archives>    specify comma separated archives to be unarchived on the compute machines.

二、SQOOP Job 使用
1、创建一个Job

sqoop job  --create myjob  -- \
import --connect jdbc:mysql://hadoop001:3306/sqoop \
--username root \
--password 123456 \
--table udp_dept

2、查看Job列表

sqoop job --list
17/10/11 04:15:48 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6-cdh5.7.0
Available jobs:myjob

3、执行Job
会让输入root的密码

sqoop job --exec myjob

4、删除Job

sqoop job --delete myjob

三、SQOOP Job与Crontab
SQOOP Job一般与Crontab这样的调度器一起使用，将SQOOP Job创建好，再使用调度器定时执行Job

SQOOP Job使用相关推荐

从Hive导出数据到Oracle数据库--Sqoop
首先解释一下各行代码: sqoop export # 指定要导入到Oracle的那张表(通常与hive中的表同名) --table TABLE_NAME # host_ip:导入oracle库所在的i ...
hive sqoop 分区导入_Sqoop概述及shell操作
特别说明:该专栏文章均来源自微信公众号<大数据实战演练>,欢迎关注! 一.Sqoop概述 1. 产生背景基于传统关系型数据库的稳定性,还是有很多企业将数据存储在关系型数据库中:早期由于工 ...
sqoop架构_SQOOP架构的深入介绍
sqoop架构 by Jayvardhan Reddy 通过杰伊瓦尔丹·雷迪(Jayvardhan Reddy) SQOOP架构的深入介绍 (An in-depth introduction to S ...
Sqoop的基础应用
实验目的要求了解ET了工具Sqoop: 学会安装配置Sqoop: 学会使用数据迁移框架Sqoop: 使用Sqoop导入MySQL到HDFS和Hive: 使用Sqoop导出HDFS数据到MySQL: ...
Hadoop集群的基本操作（五：Sqoop的基本操作）
实验目的要求目的: 掌握ETL工具Sqoop的使用: 掌握MySQL和HDFS之间的数据转换: 要求: 掌握ETL工具Sqoop的使用: 能够正常操作数据库.表.数据: 实验环境五台独立 ...
Sqoop数据分析引擎安装与使用
Sqoop数据分析引擎安装与使用 ==>什么是Sqoop ? Sqoop 是一个开源的数据处理引擎,主要是通过 JDBC 为媒介, 在Hadoop(Hive)与传统的关系型数据库(Orac ...
Oozie 配合 sqoop hive 实现数据分析输出到 mysql
文件/RDBMS -> flume/sqoop -> HDFS -> Hive -> HDFS -> Sqoop -> RDBMS 其中,本文实现了使用 sqoo ...
Sqoop数据迁移原理及基本框架
目录 Sqoop简介 Sqoop架构 Sqoop导入底层工作原理 Sqoop导出底层工作原理 Sqoop简介 Sqoop旨在协助RDBMS与Hadoop之间进行高效的大数据交流.可以把关系型数据库的数 ...
sqoop数据迁移的应用
MySql与HBase之间数据的互导(借助sqoop) 一.将mysql中的数据导入到hbase中,这一步相对来说是比较简单的 1.在mysql中建立一个teacher表,插入5组数据,我这里没有将表 ...
hive定时清洗至mysql_hive，sqoop定时执行脚本举例
hive: #! /bin/sh date="$1" enddate=`date -d "+1 day $2" +%Y-%m-%d` while [[ $dat ...

SQOOP Job使用

SQOOP Job使用相关推荐

最新文章

热门文章