sqoop 基本使用

2019独角兽企业重金招聘Python工程师标准>>>

1、把MySQL数据导入到hdfs:

sqoop import \
--connect jdbc:mysql://192.168.83.11:3306/sqoop \
--username root \
--password Oracle123 \
--table sqoop1 \
--delete-target-dir \
-m 1

--query 指明查询的sql语句，注意主里加了一个 and \$conditions ，这是必需的，如果有带where条件的话

--hive-table 指明目标表名

--target-dir 指明目标表的hdfs路径

--delete-target-dir 删除目标hfds路径数据

--split-by 指明shuffle的字段，一般是取主键

--hive-overwrite 先删除旧数据，再重新插入

--null-string --对null字符串和处理，映射成hive里的null

--null-non-string --对null非字符串和处理，映射成hive里的null

2、把hdfs数据导入到MySQL：

先创建表结构,（感觉sqoop在这里做的相当不好，表结构不能自己创建吗？）

create table emp_1(empno int,ename varchar(20),job varchar(20),mgr int,hirdate varchar(20),sal double,comm double,deptno int);

在导入数据

sqoop export --connect jdbc:mysql://hd1:3306/hive --username root --password Oracle123 --table emp_1 --export-dir /user/hive/warehouse/part_emp3/mgr=10/emp.txt --fields-terminated-by '\t'

3、将MySQL的表结构复制到hive中

sqoop create-hive-table --connect jdbc:mysql://hd1:3306/hive --table TBS --username root --password Oracle123 --hive-table test

转载于:https://my.oschina.net/u/3862440/blog/2354369

sqoop 基本使用相关推荐

从Hive导出数据到Oracle数据库--Sqoop
首先解释一下各行代码: sqoop export # 指定要导入到Oracle的那张表(通常与hive中的表同名) --table TABLE_NAME # host_ip:导入oracle库所在的i ...
hive sqoop 分区导入_Sqoop概述及shell操作
特别说明:该专栏文章均来源自微信公众号<大数据实战演练>,欢迎关注! 一.Sqoop概述 1. 产生背景基于传统关系型数据库的稳定性,还是有很多企业将数据存储在关系型数据库中:早期由于工 ...
sqoop架构_SQOOP架构的深入介绍
sqoop架构 by Jayvardhan Reddy 通过杰伊瓦尔丹·雷迪(Jayvardhan Reddy) SQOOP架构的深入介绍 (An in-depth introduction to S ...
Sqoop的基础应用
实验目的要求了解ET了工具Sqoop: 学会安装配置Sqoop: 学会使用数据迁移框架Sqoop: 使用Sqoop导入MySQL到HDFS和Hive: 使用Sqoop导出HDFS数据到MySQL: ...
Hadoop集群的基本操作（五：Sqoop的基本操作）
实验目的要求目的: 掌握ETL工具Sqoop的使用: 掌握MySQL和HDFS之间的数据转换: 要求: 掌握ETL工具Sqoop的使用: 能够正常操作数据库.表.数据: 实验环境五台独立 ...
Sqoop数据分析引擎安装与使用
Sqoop数据分析引擎安装与使用 ==>什么是Sqoop ? Sqoop 是一个开源的数据处理引擎,主要是通过 JDBC 为媒介, 在Hadoop(Hive)与传统的关系型数据库(Orac ...
Oozie 配合 sqoop hive 实现数据分析输出到 mysql
文件/RDBMS -> flume/sqoop -> HDFS -> Hive -> HDFS -> Sqoop -> RDBMS 其中,本文实现了使用 sqoo ...
Sqoop数据迁移原理及基本框架
目录 Sqoop简介 Sqoop架构 Sqoop导入底层工作原理 Sqoop导出底层工作原理 Sqoop简介 Sqoop旨在协助RDBMS与Hadoop之间进行高效的大数据交流.可以把关系型数据库的数 ...
sqoop数据迁移的应用
MySql与HBase之间数据的互导(借助sqoop) 一.将mysql中的数据导入到hbase中,这一步相对来说是比较简单的 1.在mysql中建立一个teacher表,插入5组数据,我这里没有将表 ...
hive定时清洗至mysql_hive，sqoop定时执行脚本举例
hive: #! /bin/sh date="$1" enddate=`date -d "+1 day $2" +%Y-%m-%d` while [[ $dat ...

sqoop 基本使用

1、把MySQL数据导入到hdfs:

2、把hdfs数据导入到MySQL：

3、将MySQL的表结构复制到hive中

sqoop 基本使用相关推荐

最新文章

热门文章