kettle on docker

一、制作kettle镜像

服务器已部署kettle，现需要将部署方式变更为docker部署。
基于kettle8.3。因为本地已经安装过kettle，并且使用的为文件资源库，所以这里配置文件及资源库采用映射

1.1 安装docker（略）

1.2 拉取centos镜像

docker pull centos

1.3 启动镜像，配置KETTLE

# 启动centos镜像
docker run -d -it centos /bin/bash# 进入镜像
docker exec -it [容器ID] bash# 新建所需目录
mkdir /opt/java
mkdir /opt/kettle
mkdir -p /data/bigdata_etl
mkdir /root/.kettle# 退出镜像，上传jdk与kettle。如果是安装包，需要上传后进入容器解压，这里直接上传解压后的文件
exitdocker cp /data/module/jdk1.8.0_301/ [容器ID]:/opt/java
docker cp /data/module/kettle8.3/ [容器ID]:/opt/kettle# 重新进入容器,配置java环境变量
vi /etc/bashrc
# 在文件末尾加上
export JAVA_HOME=/opt/java/jdk1.8.0_301
export PATH=$PATH:$JAVA_HOME/binsource /etc/bashrc
# 如果命令直接执行需要用到java，可以将java软连接到bin下
ln -s /opt/java/jdk1.8.0_301/bin/jar /bin/jar
ln -s /opt/java/jdk1.8.0_301/bin/java /bin/java
ln -s /opt/java/jdk1.8.0_301/bin/javac /bin/javac
ln -s /opt/java/jdk1.8.0_301/bin/javah /bin/javah
ln -s /opt/java/jdk1.8.0_301/bin/javadoc /bin/javadoc# 执行java命令，测试环境变量是否配置完成
java -version# 如果kettle任务中有用到其他组件或程序，也需要在容器内安装
# 如果有用到hosts映射，添加映射
# 根据具体场景配置所需环境
# 注意时区问题，镜像默认为UTC+0
# 如果需要调整为国内时区可以
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
对应kettle这种java应用，则可以在启动参数里加上 -Duser.timezone=GMT+8
vi $KETTLE_HOME/spoon.sh
在 OPT="... -Duser.timezone=GMT+8"里加上

1.4 打包镜像

# 退出镜像后，commit打包镜像
docker commit -a "xxx" -m "kettle8.3" [容器ID] kettle:8.3# 查看镜像
docker images# 运行镜像
docker run -d -v /root/.kettle:/root/.kettle -v /data/bigdata_etl:/data/bigdata_etl -it kettle:8.3 /bin/bash# 进入kettle容器内，测试能否正常运行kettle
/opt/kettle/kettle8.3/kitchen.sh -rep xxx -dir /test_etl -job test_job# 关于使用，可以命令传参的方式一次性运行docker容器，也可以开启一个常驻容器，使用命令或者子服务器使用。可根据不同场景自行选择
# 一次性调度示例：
docker run --network=host -v /root/.kettle:/root/.kettle -v /data/bigdata_etl:/data/bigdata_etl --rm kettle:8.3 /bin/bash /opt/kettle/kettle8.3/kitchen.sh -rep bigdata_repo -dir /test_etl -job test_job

kettle on docker相关推荐

docker实战部署Javaweb项目
一.部署环境说明 docker服务版本: version 18.09.0 nginx服务版本: version: nginx/1.15.10 redis服务版本: version: redis/5.0 ...
docker 创建 Carte 服务
一.创建docker image FROM centos:latest MAINTAINER swhysc #install jdk RUN mkdir /home/java ADD jdk-8u31 ...
通过docker部署一个简单的web服务
前面把redis.oracle都部署好了,还有最后两步: 1)docker镜像制作和启动 2)redis和oracle都在vitualbox中,防火墙问题等等 docker 镜像及制作首先安装好do ...
【安装部署】DataEase Mac 电脑本地运行 Kettle 和 Doris 报错：Mounts denied
1 背景 Mac 电脑进行源码部署,安装模式为本地模式,需要运行 Kettle 和 Doris,按照在线地址第 4 项运行 Kettle 和 Doris 时,报错 Mounts denied. 2 原 ...
docker部署kettel
系列文章目录 CentOS8安装docker docker配置daemon docker部署kettel 目标: docker部署kettel 文章目录系列文章目录目标: 学习内容 docker拉 ...
mysql etl工具干什么的_基于现在接触的ETL工具（datax和kettle）做个小总结
现阶段需要做数据库同步工作,目前调研了两个工具datax和kettle 目前虽然环境使用的是kettle+jenkins调度平台方案,但是多多少少会有一些不太令人满意的地方,但应该算是满足大部分需求了 ...
spoon-web网页版安装教程【kettle】
1 安装docker 1.1 下载docker-ce.repo cd /etc/yum.repos.d wget https://mirrors.aliyun.com/docker-ce/linux/ ...
/var/lib/docker/overlay2/xxxxx no such file or directory docker文件删除引发的问题
记一次误删引发的服务雪崩 K8s node节点磁盘报警,报警后我找到服务中占用磁盘最多的地方,在overlay2目录下,对下面的文件进行了删除删除后,有状态服务先出现了问题,服务无法启动.停止. ...
本地打包Docker镜像上传至阿里云远程仓库（一站式脚本）
打包镜像上传至远程仓库: 1. 本地项目为 mytest-project 2. 仓库为阿里云镜像仓库 registry.cn-beijing.aliyuncs.com/test/mytest-proj ...
docker报错：driver failed programming external connectivity on endpoint, iptables:No chain by that name
docker 报错: Error response from daemon: Cannot restart container hello: driver failed programming ext ...

kettle on docker

一、制作kettle镜像

1.1 安装docker（略）

1.2 拉取centos镜像

1.3 启动镜像，配置KETTLE

1.4 打包镜像

kettle on docker相关推荐

最新文章

热门文章