streamsets-datacollector 安装与启动

streamsets-datacollector-all-3.21.0 安装步骤

1.安装jdk8

jdk安装网上教程很多，在这就不详细记录了

2.下载 streamsets

官网 https://archives.streamsets.com/index.html 注册账户后

下载 Full Tarball Tarball for Linux (Tarball sha1)

在下载的过程中我们可以创建几个能用到的文件夹

mkdir /data/streamsets/data

mkdir /data/streamsets/log 存放log的地方

mkdir /data/streamsets/resources

3.下载完成后解压

cd /opt/streamsets-datacollector-3.21.0/

tar zxf streamsets-datacollector-all-3.21.0.tgz

4.配置

1）配置环境变量

# 切换root用户

vi /etc/profile

# 在文件最后添加

export SDC_DIST=/opt/streamsets-datacollector-3.21.0

export SDC_JAVA_OPTS="${SDC_JAVA_OPTS} -Xmx10240m -Xms10240m -server" 这个加不加都行

# 保持退出

wq

# 应用环境变量

source /etc/profile

# 测试环境变量

echo $SDC_DIST

2）配置strameset环境

cd /opt/streamsets-datacollector-3.21.0/libexec/

vim sdc-env.sh

这块改下 jvm 看需求改改不改都行

在就是添加

export SDC_DATA=/data/streamsets/data

export SDC_LOG=/data/streamsets/log

export SDC_RESOURCES=/data/streamsets/resources

3）配置 sdc.properties

cd /opt/streamsets-datacollector-3.21.0/etc

在这个配置文件里主要配置这几项

production.maxBatchSize 一次抽取数量 (按照自身需求和硬件配置来调整)

runner.thread.pool.size 一次可以开多少个线程，换句话说就是能开几个pipeline 如果你需要的抽取的表比较多建议多开启要不会报错

其他的暂时都不用动，如果有需求可以去官网看看

4）如果需要kafka hbase等需要配置hosts文件

5）如果需要使用mysql数据库的话

需要开启mysql binlog

5。启动

nohup bin/streamsets dc & 帐号密码都是 admin

6.错误 (持续整理)

1）Java 1.8 detected; adding $SDC_JAVA8_OPTS of "-XX:+UseConcMarkSweepGC -XX:+UseParNewGC -Djdk.nio.maxCachedBufferSize=262144" to $SDC_JAVA_OPTS
Configuration of maximum open file limit is too low: 1024 (expected at least 32768). Please consult https://goo.gl/6dmjXd

修改：vi /etc/security/limits.conf

添加

root soft nofile 65535
root hard nofile 65535
* soft nofile 65535
* hard nofile 65535

本地服务器需要重启

2）mysqlbinlog 0701 initiation error 连接不上jdbc

进去后确定 jdbc 和binglog 都是安装成功后

进入

cd /opt/streamsets-datacollector-3.21.0/streamsets-libs-extras

创建 streamsets-datacollector-jdbc-lib和streamsets-datacollector-mysql-binlog-lib 在这两个文件夹下分别在创建lib后

在网上下载 mysql-connector-java-5.1.46.jar PS 我只知道在网上下载如果有其他方式请告知多谢！

重启服务

streamsets-datacollector 安装与启动相关推荐

客快物流大数据项目(八)：Docker的安装和启动
目录 Docker的安装和启动一.服务器规划二.安装Docker 1.验证Linux内核版本 <
vmware workstation 安装esx 启动vt功能
vmware workstation 安装esx 启动vt功能,支持64bit虚拟机,如下所示: 转载于:https://blog.51cto.com/auqf12/1293587
windows10下postgreSQL 下载、安装、启动、关闭
windows10下postgreSQL 下载.安装.启动.关闭下载安装 l设置密码和端口,一直next直到安装完成环境变量
[PXE] Linux（centos6）中PXE 服务器搭建，PXE安装、启动及PXE理论详解
本篇blog主要讲述了[PXE] linux(centos)PXE无盘服务器搭建,安装,启动及pxe协议详解 , Kickstart (PXE+DHCP+TFTP+HTTP). PXE环境概述作为中 ...
Windows服务的安装，启动，停止和卸载
直接贴代码如下 public class RunServices{/// <summary>/// 安装并启动服务/// </summary>/// <param nam ...
Oracle 11g 基于CentOS7安装并启动em
2019独角兽企业重金招聘Python工程师标准>>> Oracle 11g 基于CentOS7安装并启动em 1.可以在虚拟机或者服务器上安装centos,具体过程省略,建议使用最 ...
MongoDB安装和启动
环境:Linux,MongoDB版本2.2.2: MongoDB的安装和启动都比较简单 1.解压 mongodb-linux-i686-2.2.2.tgz 到/usr/local/目录下: 这里我的目 ...
永洪Desktop安装后启动提示缺少libv8_libbase.dll文件解决办法
A:安装后启动产品时出现图中报错 2. 解决办法下载对应的dll文件,将其放入对应的目录中 D:\Yonghong desktop\YonghongBI\Yonghong\vooltdb\bin 附 ...
SVN的安装和启动SVN的安装
SVN的安装和启动SVN的安装 i. windows下安装SVN 首先要先下载SVN服务器,下载地址https://www.visualsvn.com/downloads/ 下载软件VisualSVN ...
02/03_Pytorch安装、Conda安装Pythorch，换源、pytorch官网、验证、安装jupyter、卸载、安装、启动jupyter、配置Jupyter notebook、使用
1.2.Pytorch安装 1.2.1.Conda安装Pythorch,换源 1 conda添加清华镜像源查看源 conda config --show-sources 由于从官方的conda源中下 ...

streamsets-datacollector 安装与启动

streamsets-datacollector 安装与启动相关推荐

最新文章

热门文章