原理

由一个主carte服务器和多个carte服务器组成，类似于master-slave结构，不同的是'master'不处理具体任务，只负责任务的分发和收集运行结果。Master carte节点收到请求后，把任务分成多个部分交给slave carte执行，slave执行完毕后把结果交给master进行汇总，再由master返回结果。

1.配置集群

1.1配置主服务器

打开kettle目录，找到pwd目录，里面有4个xml文件，分别是主服务器和子服务器的配置，以及密码文件：

carte配置

主服务器的配置文件为carte-config-master-8080.xml,打开这个文件，修改成以下内容，注意，hostname必须填写主服务器的静态IP。

8080

1.2配置从服务器

剩下的三个从服务器配置文件，以carte-config-8081.xml为例。打开该文件：

从服务器配置

然后回到kettle主目录，打开命令行，输入：

>>./carte.sh localhost 8080

出现以下画面，主服务器创建完成，接着，我们来配置从服务器。

主服务器创建完成

从服务器配置文件

发现该文件有和两层标签，标签表示该服务器要连接的主服务器的信息，保持与carte-config-master.xml一致。标签是从服务器的信息，按照需要更改即可。

1.3启动各节点

然后回到kettle主目录，打开命令行，输入以下命令正常启动主服务器：

>>./carte.sh 172.16.2.222 8080

然后将kettle文件夹传输到从节点到服务器，尤其是主目录下pwd文件夹。

之后在从节点kettle文件夹下打开命令行输入以下命令：

>>./carte.sh 172.16.3.211 8081

2.建立集群

2.1在spoon中创建子服务器

先启动spoon,新创建一个转换。然后选择主对象树-子服务器，点击新建子服务器,然后填写必要信息。

主服务器

然后按同样的方式建立子服务器的节点:

从服务器

2.2 建立集群

在对象树中选择kettle集群schemas,填写schema名称、端口、sokects缓存大小、sockets刷新时间间隔、socketts数据是否压缩。

Schema名称即集群的名称。

端口即集群对外服务的端口。

sockets缓存大小：sockets缓存

Sockets刷新时间间隔：达到多少行记录时刷新到子服务器。

Sockets数据是否压缩：如果网络状态差，建议选择。

之后点击选择子服务器将集群节点加入到该集群中。

集群

2.3执行转换

点击转换-->排序记录，建立一个排序记录节点，之后右键该节点，点击集群，选择集群后点确定。

此时，在排序记录上会多出一个标志，表示该排序记录有一个从服务器负责执行任务。

排序记录

2.4集群执行

右键集群运行设置，如下：

集群运行设置

2.5执行，查看结果

最后，查看执行结果

作者：眼君
链接：https://www.jianshu.com/p/20ae43bb76e1
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

carte集群的搭建笔记相关推荐

学习笔记之-Kubernetes（K8S）介绍，集群环境搭建，Pod详解，Pod控制器详解，Service详解，数据存储，安全认证，DashBoard
笔记来源于观看黑马程序员Kubernetes(K8S)教程第一章 kubernetes介绍应用部署方式演变在部署应用程序的方式上,主要经历了三个时代: 传统部署:互联网早期,会直接将应用程序部署 ...
ElasticSearch学习笔记（8）· ES集群的搭建
目录十三.集群的实现 1.相关概念集群(cluster) 节点(node) 分配和复制(shards & replicas) 2.快速搭建集群 3.安装head插件十三.集群的实现 1. ...
2W 字详解 Redis 6.0 集群环境搭建实践
原文链接:https://www.cnblogs.com/hueyxu/p/13884800.html 本文是Redis集群学习的实践总结(基于Redis 6.0+),详细介绍逐步搭建Redis集群环 ...
Kafka：ZK+Kafka+Spark Streaming集群环境搭建（九）安装kafka_2.11-1.1.0
如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...
hadoop集群环境搭建准备工作
一定要注意hadoop和linux系统的位数一定要相同,就是说如果hadoop是32位的,linux系统也一定要安装32位的. 准备工作: 1 首先在VMware中建立6台虚拟机(配置默认即可).这是 ...
Kafka：ZK+Kafka+Spark Streaming集群环境搭建（二十一）NIFI1.7.1安装
一.nifi基本配置 1. 修改各节点主机名,修改/etc/hosts文件内容. 192.168.0.120master192.168.0.121slave1192.168.0.122 slave2 ...
『高级篇』docker之DockerSwarm的集群环境搭建（28）
原创文章,欢迎转载.转载请注明:转载自IT人故事会,谢谢! 原文链接地址:『高级篇』docker之DockerSwarm的集群环境搭建(28) 上次了解了docker Swarm,这次一起动手操作,搭 ...
Ubuntu下基于 Cilium CNI 的 Kubernetus集群环境搭建
Ubuntu下基于 Cilium CNI 的 Kubernetus集群环境搭建 1. 前言 2. 安装三个Ubuntu 2.1 三个机器都关闭防火墙 2.2 三个机器都关闭swap 2.3 三个机器都 ...
Centos7环境下etcd集群的搭建
Centos7环境下etcd集群的搭建一.简介"A highly-available key value store for shared configuration and service ...

carte集群的搭建笔记

原理