一、`Confluent`介绍

LinkedIn有个三人小组出来创业了—正是当时开发出Apache Kafka实时信息列队技术的团队成员，基于这项技术Jay Kreps带头创立了新公司Confluent。Confluent的产品围绕着Kafka做的。

1.1、什么是`Confluent Platform`?

Confluent Platform 是一个流数据平台，能够组织管理来自不同数据源的数据，拥有稳定高效的系统。

Confluent Platform 很容易的建立实时数据管道和流应用。通过将多个来源和位置的数据集成到公司一个中央数据流平台，Confluent Platform使您可以专注于如何从数据中获得商业价值而不是担心底层机制，如数据是如何被运输或不同系统间摩擦。具体来说，Confluent Platform简化了连接数据源到Kafka，用Kafka构建应用程序，以及安全，监控和管理您的Kafka的基础设施。

Kafka 是最流行的开源即时通讯系统，Confluent Platform 基于Kafka。 Kafka 是低延迟，高可扩展，分布式消息系统。它被数百家企业用于许多不同的场景，包括收集用户活动数据，系统日志，应用程序指标，股票行情数据和设备仪器的信号。

1.2、`Confluent Platform`三个版本

1.2.1、`Confluent Open Source`

是 Confluent 公司在 Kafka 上的一个增强版本，其主要增强的地方是：

增加了一个 REST 代理，以便客户端可以使用 HTTP 连接；
增加了对 Java 以外的语言的支持，比如 C++、Python 和.NET；
增加了对 Hadoop 文件系统、亚马逊 S3 存储、JDBC 等的连接的支持；
最重要 Schema Registry，这是对 Kafka 一个比较大的增强，它使得 Kafka 的数据流必须符合注册的 Schema，从而增强了可用性。所有这些东西本身也都是开源的，这使得其他第三方在这个上面继续开发新功能成为了可能。

1.2.2、`Confluent Enterprise`

是 Confluent 面向企业级应用的产品，里面增加了一个叫作 Confluent Control Center 的非开源产品。Confluent Control Center 是一个对整个产品进行管理的控制中心，最主要的功能对这个 Kafka 里面各个生产者和消费者的性能监控。

Kafka 作为一个非常重要的产品，已经在很多互联网企业里被作为关键组件部署了。而 Kafka 的性能监控也早就是一个非常重要的问题，Kafka 本身并不自带性能监控平台，很多公司比如雅虎自己内部开发了这样的系统。但是 Confluent 开发的控制平台无疑应该是最可靠的，毕竟没有人比 Kafka 的开发者更了解自己的产品。可惜这个是收费产品，而且不开源。Confluent Enterprise 同时还自带了数据自动负载平衡和跨数据中心数据复制的能力。

1.2.3、`Confluent Cloud`

是 Confluent Enterprise 的云端托管服务，它增加了一个叫作云端管理控制台的组件。除此之外，按照 Confluent 的说法，其实没有什么差别。但是对于想要省心的用户来说，这个产品无疑是更好的选择。

1.3、`Kafka` 与 `Confluent` 开源的组件

`Kafka`开源项目包括一些关键组件：

Kafka Brokers(开源）。构成Kafka的消息，数据持久性和存储层。
Kafka Java Clients(开源)。Java 库，写消息到kafka 或者从kafka 读消息。
Kafka Streams（开源）。Kafka Streams是一个库使kafka转换成功能齐全的流处理系统。
Kafka Connect（开源）。一种可扩展的和可靠的连接Kafka框架与外部系统（如数据库，键值存储，搜索索引和文件系统）的框架。

除了Kafka以外， Confluent Platform 包括更多的工具和服务，使构建和管理数据流平台更加容易。

Confluent Control Center（闭源）。管理和监控Kafka最全面的GUI驱动系统。
Confluent Kafka Connectors（开源）。连接SQL数据库/Hadoop/Hive
Confluent Kafka Clients（开源）。对于其他编程语言，包括C/C++,Python
Confluent Kafka REST Proxy（开源）。允许一些系统通过HTTP和kafka之间发送和接收消息。
Confluent Schema Registry（开源）。帮助确定每一个应用使用正确的schema当写数据或者读数据到kafka中。

二、Kafka Connect

Kafka Connect 是 Kafka 的一个开源组件，是用来将Kafka与数据库、key-value存储系统、搜索系统、文件系统等外部系统连接起来的基础框架。

通过使用Kafka Connect框架以及现有的连接器可以实现从源数据读入消息到Kafka，再从Kafka读出消息到目的地的功能。

Confluent 在 Kafka connect基础上实现了多种常用系统的connector免费让大家使用，提供的列表如下：

Kafka Connect ActiveMQ Connector
Kafka FileStream Connectors
Kafka Connect HDFS
Kafka Connect JDBC Connector
Confluent Kafka Replicator
Kafka Connect S3
Kafka Connect Elasticsearch Connector
Kafka Connect IBM MQ Connector
Kafka Connect JMS Connector

这些connector都可以拿来免费使用，而且Confluent 在GitHub上提供了源码，可以根据自身业务需求进行修改。

三、Schema Registry

Schema-Registry是为元数据管理提供的服务，同样提供了RESTful接口用来存储和获取schemas，它能够保存数据格式变化的所有版本，并可以做到向下兼容。

Schema-Registry还为Kafka提供了Avro格式的序列化插件来传输消息。

Confluent主要用Schema-Registry来对数据schema进行管理和序列化操作。

关注我的公众号【宝哥大数据】，更多干货

参考：
https://www.cnblogs.com/zdfjf/p/5646525.html
http://www.kafka.cc/archives/26.html
https://www.sohu.com/a/216936317_355140
https://www.jianshu.com/p/a6705c870bb9

Confluent介绍相关推荐

Confluent介绍（一）
最开始接触confluent是通过这篇博客,How to Build a Scalable ETL Pipeline with Kafka Connect,对于做大数据的,数据的ETL(抽取,转换,装 ...
Confluent介绍及其使用
1 confluent介绍 Confluent是用来管理和组织不同数据源的流媒体平台,可以实时地把不同源和位置的数据集成到一个中心的事件流平台.并且很可靠.性能很高. Confluent目前提供了社区 ...
数据库实时转移之Confluent介绍（一）
1．背景最近研究了数据库实时转移的方案,目的是要把数据库中某些表的指定数据实时的转移到别的数据库中. 这与平时了解的数据库备份概念不同,数据库备份是对全库数据进行复制,永许有一定的延时.而本次研究的 ...
mysql的用户名迁移SCHEMA_数据库实时转移之Confluent环境搭建（二）
1.前言上一篇主要介绍了Confluent的基本概念,如果对Confluent不了解的请回看上篇文章.七分熟pizza:数据库实时转移之Confluent介绍(一)zhuanlan.zhihu.c ...
知乎热议：数据仓库、数据湖、湖仓一体，究竟有什么区别？
来源:知乎作者:十叶心全文共 14108个字,建议阅读 20分钟一.基本概念 1.1数仓发展历史数据湖是以集中方式存储各种类型数据,提供弹性的容量和吞吐能力,能够覆盖广泛的数据源,支持 ...
Kafka-Confluent平台
Confluent介绍官网:https://docs.confluent.io/platform/current/platform.html Confluent是用来管理和组织不同数据源的流媒体平台 ...
DataPipeline联合Confluent Kafka Meetup上海站
Confluent作为国际数据"流"处理技术领先者,提供实时数据处理解决方案,在市场上拥有大量企业客户,帮助企业轻松访问各类数据.DataPipeline作为国内首家原生支持Kaf ...
Confluent Platform 3.0支持使用Kafka Streams实现实时的数据处理（最新版已经是3.1了，支持kafka0.10了）...
来自 Confluent 的 Confluent Platform 3.0 消息系统支持使用 Kafka Streams 实现实时的数据处理,这家公司也是在背后支撑 Apache Kafka 消息框架 ...
瞰见 | 美股新贵Confluent背后的卡夫卡，不是那个魔幻小说家
有人正在走进元宇宙,有人正在向火星启程.这是一个最好的时代,这是一个最坏的时代.软件吞噬着世界,开源吞噬着软件,云吞噬着开源. 软件,开源,云,就像那不尽长江滚滚来,惊涛拍岸,卷起千堆雪,一时多少豪杰 ...

Confluent介绍

一、`Confluent`介绍

1.1、什么是`Confluent Platform`?

1.2、`Confluent Platform`三个版本

1.2.1、`Confluent Open Source`

1.2.2、`Confluent Enterprise`

1.2.3、`Confluent Cloud`

1.3、`Kafka` 与 `Confluent` 开源的组件

`Kafka`开源项目包括一些关键组件：

二、Kafka Connect

三、Schema Registry

关注我的公众号【宝哥大数据】，更多干货

Confluent介绍相关推荐

最新文章

热门文章

Confluent介绍

一、Confluent介绍

1.1、什么是Confluent Platform?

1.2、Confluent Platform三个版本

1.2.1、Confluent Open Source

1.2.2、Confluent Enterprise

1.2.3、Confluent Cloud

1.3、Kafka 与 Confluent 开源的组件

Kafka开源项目包括一些关键组件：

二、Kafka Connect

三、Schema Registry

关注我的公众号【宝哥大数据】，更多干货

Confluent介绍相关推荐

最新文章

热门文章

一、`Confluent`介绍

1.1、什么是`Confluent Platform`?

1.2、`Confluent Platform`三个版本

1.2.1、`Confluent Open Source`

1.2.2、`Confluent Enterprise`

1.2.3、`Confluent Cloud`

1.3、`Kafka` 与 `Confluent` 开源的组件

`Kafka`开源项目包括一些关键组件：