背景

在某实验项目中，需要部署一个日志采集系统，其中需要用到Java环境、kafka、zookeeper中间件，其中kafka、zookeeper均部署到本地，本文主要记录环境配置过程。

版本信息：
- Java：jdk1.8.0_151
- kafka：kafka_2.12-0.11.0.0
- zookeeper：zookeeper-3.3.6

Java环境准备

为提高下载速度，推挤国内镜像站下载，本文使用华为云镜像站：
- java 镜像地址：https://repo.huaweicloud.com/java/jdk/
配置系统环境变量
- 建议不要装默认地址C:\Program Files\Java\jdk1.8.0_171，因为其带有空格
  - （不过也有博文说不用care这一条）
- 配置JAVA_HOME：C:\Java\jdk1.8.0_151
- 配置ClassPath环境变量：.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;
  - 注意前面有“.”和“;”一定是英文状态下的符号
- 在Path中添加：
  - C:\Java\jdk1.8.0_151\bin
  - C:\Java\jre1.8.0_151\bin
Java环境测试
- 点击键盘Windows+r键，打开运行提示框输入cmd按回车键打开命令框，输入 java -version
- 若能正常显示，则表示安装成功。

安装 Zookeeper

历史版本检索：https://archive.apache.org/dist/zookeeper/

注意，此处下载的均是免安装版的，windows 和 Linux 均有编译好的程序，可直接运行

本文下载的是：zookeeper-3.3.6.tar.gz

下载好后，还不能直接使用，需要配置一下配置文件

先将zoo_sample.cfg拷贝一份，并命名为zoo.cfg，修改：zoo.cfg

 # The number of milliseconds of each ticktickTime=2000# The number of ticks that the initial # synchronization phase can takeinitLimit=10# The number of ticks that can pass between # sending a request and getting an acknowledgementsyncLimit=5# the directory where the snapshot is stored.# dataDir=/tmp/zookeeper# 添加本地日志文件目录  <--------------------------- 只用修改这里dataDir=C:/ProgramData/ToolLog/zookeeper/datadataLogDir=C:/ProgramData/ToolLog/zookeeper/log# the port at which the clients will connectclientPort=2181

修改保存后，在zookeeper\bin目录下，双击即可运行zkServer.cmd

安装 Kafka_2.12-0.11.0.0

下载链接：https://kafka.apache.org/downloads.html

下载好后，修改配置文件：config目录下的server.properties

修改log.dirs为D:\kafka_logs(自定义目录完整路径)

返回到解压文件夹下，执行：

.\bin\windows\kafka-server-start.bat .\config\server.properties

至此，环境配置完毕。

测试程序

本测试程序基于Go语言开发，程序功能为向kafka中的某个话题发送数据消息。

需要说明的是：在创建生产者对象时，需要指明环境中Kafka版本号，否则会导致创建失败！！！！！！！

关键语句

    config := sarama.NewConfig()config.Producer.RequiredAcks = sarama.WaitForAllconfig.Producer.Partitioner = sarama.NewRandomPartitionerconfig.Producer.Return.Successes = true/* 明确环境中kafka版本号 */ config.Version = sarama.V0_11_0_0

错误提示

producer close, err: kafka: client has run out of available brokers to talk to (Is your cluster reachable?)

完整测试程序

package mainimport ("fmt""github.com/Shopify/sarama"
)func main() {config := sarama.NewConfig()config.Producer.RequiredAcks = sarama.WaitForAllconfig.Producer.Partitioner = sarama.NewRandomPartitionerconfig.Producer.Return.Successes = trueconfig.Version = sarama.V0_11_0_0   //  <-------  注意这里需要选择自己环境中kafka版本，否则程序会运行失败msg := &sarama.ProducerMessage{}msg.Topic = "nginx_log"msg.Value = sarama.StringEncoder("this is a good test, my message is good")client, err := sarama.NewSyncProducer([]string{"127.0.0.1:9092"}, config)if err != nil {fmt.Println("producer close, err:", err)return}defer client.Close()pid, offset, err := client.SendMessage(msg)if err != nil {fmt.Println("send message failed,", err)return}fmt.Printf("pid:%v offset:%v\n", pid, offset)
}

参考文献：
https://blog.csdn.net/weixin_41402352/article/details/84325136
https://www.cnblogs.com/wangzhaobo/p/14345281.html

Win10配置Kafka以及Zookeeper环境（run out of available brokers错误解决）相关推荐

Win10配置pytorch深度学习环境
一.Win10配置pytorch深度学习环境有一台装win10系统的电脑有两张显卡,所以尝试在win10上装环境了,之前在Ubuntu上安装过深度学习环境,相比起来还是Ubuntu的命令行配环境更方 ...
Win10正常安装Matlab7.0后，运行出现Runtime Error错误解决方法
Win10正常安装Matlab7.0之后,打开出现Runtime Error错误解决方法 error如下: 解决办法如下: Matlb图标-->点击右键->属性->兼容性,勾选&qu ...
【安装win7 64位系统】- 出现《Windows安装程序无法将Windows配置为在此计算机的硬件上运行》错误-解决方法
安装win7 64位系统出现<Windows安装程序无法将Windows配置为在此计算机的硬件上运行>错误的解决方法出现的原因解决办法分割线:以下为查找的资料博主用U盘安装台式wi ...
bat kafka启动_windows 搭建kafka、zookeeper环境
安装配置java运行环境,也就是jdk,不多说不了解自行搜索教程安装zk a.下载地址:http://mirrors.hust.edu.cn/apache/zookeeper/ 建议下载稳定版,也就 ...
win10配置jdk1.8 的环境变量
第一步,下载jdk安装文件. 1 直接百度jdk1.8,一般第一条就是官方下载网址.根据自己系统下载对应版本即可. END 第二步,安装jdk 1 双击安装包,按照默认设置直接安装即可. END 第三 ...
win10 配置 IIS PHP MySQL 环境
这里拼接了两篇博客自己又加了些,链接如下: https://www.cnblogs.com/h-gallop/p/11762408.html https://www.jb51.net/article/ ...
win10配置JAVA和tomacat环境变量
一.配置JAVA_HOME 二.配置CATALINA_HOME (tomacat的环境变量) 三.配置PATH 四.命令行检验配置结果: 1.命令行输入java 2.命令行输入javac 3.命令行输 ...
Win10 配置Java JDK 16 环境变量
JDK 下载地址 https://www.oracle.com/technetwork/java/javase/downloads/index-jsp-138363.html 找到 Windows x ...
VS2015+Android环境配置【appt.exe停止运行以及packaged_resources不存在】错误解决
VS2017已经包含了Xamarin的iOS和Android的插件了,本文只做参考. 最后更新:2018-01-09****************************************** ...

Win10配置Kafka以及Zookeeper环境（run out of available brokers错误解决）

背景

Java环境准备

安装 Zookeeper

安装 Kafka_2.12-0.11.0.0

测试程序

Win10配置Kafka以及Zookeeper环境（run out of available brokers错误解决）相关推荐

最新文章

热门文章