记一次kafka无法生产发送消息排查经历

参考，欢迎点击原文：https://stackoverflow.com/questions/37902167/kafka-error-while-fetching-metadata-with-correlation-id-leader-not-available（老外启示）
https://blog.csdn.net/wt1286331074/article/details/121033464（自己写的记录）
https://www.cnblogs.com/riches/p/11720068.html（结合springboot使用教程）

今天有空准备把关于kafka那块知识完善掉，之前是把他run起来了，还没有与spring boot结合起来使用

问题情况：
按照教程首先引入pom，然后自己引用kafkaTemplate，直接调用send方法基本就可以发送了，然而还是踩坑了，idea报WARN Error while fetching metadata with correlation id 1 : {TRAIL_TOPIC=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient)，然后一直不断的重试
解决过程：

首先看到这个报错我看不太懂啥意思，第一反应就是找百度，然后百度给我整了一堆说传送门修改链接地址，那时我就纳闷了地址我之前就改好了呀，而且能起来了的
接着看到个国外老哥说的可能是需要配置下允许自动新增topic，emmm反正我是没找到哪里可以配置这个的，于是我按照命令行的形式在kafka容器里新建个topic：/opt/kafka/bin/kafka-topics.sh --create --zookeeper 192.168.91.66:2181 --replication-factor 1 --partitions 1 --topic testTopic，发现成功是成功了，但是idea那依然报
这时我想就看日志吧，可能日志上有啥可以深究的，打开logs文件夹发现好多种日志类型，如图1-1，我就看了最有可能的server.log-11-15，看到基本都是这个报错如图1-2，这意思我懂，就是说不能连上broker，仔细一瞧发现ip是70结尾的，额。。。咱们公司分配的ip会变得，因为kafka配置时候使用的是固定ip，这个ip明显是上次用的，so，查看现在的ip，再重新run个新的容器就可以啦

总结：
这一次找这个问题花费了靠三个小时，其实反应快的三分钟就解决掉了，无非是，看容器日志，发现IP不对，解决。
以后长个记性吧

tip：最近发现csdn广告越来越多了，有些文章还要开会员才能看，太恶心了一点没有开源精神，决定晚点时候搬个家，csdn暂时先拜拜了～

记一次kafka无法生产发送消息排查经历相关推荐

【kafka系列】kafka之生产者发送消息实践
目录一.准备工作二.终端命令生产者命令消费者命令三.Java实践搭建项目异步发送-无回调异步发送-有回调同步发送一.准备工作进入实战之前先熟悉一下topic的相关命令,使用终端命 ...
如何使用Kafka可靠地发送消息-《Kafka权威指南（第二版）》阅读笔记
可靠性是系统而不是某个独立组件的一个属性,所以,在讨论Kafka的可靠性保证时,需要从系统的整体出发.说到可靠性,那些与Kafka集成的系统与Kafka本身一样重要.正因为可靠性是系统层面的概念,所以 ...
kafka生产者的发送消息的流程以及代码案例
一 kafka发送消息流程 1.1 发送流程原理 kafka在发送消息的过程中,主要涉及两个线程main 线程和 Sender 线程. 在 main 线程中创建了一个双端队列 RecordAccum ...
kafka console 生产消费消息
producer 生产消息 consumer 消费消息 consumer 消费消息 --from-beginning (生产消息时未启动)
记一次Cassandra Java堆外内存排查经历
背景最近准备上线cassandra这个产品,同事在做一些小规格ECS(8G)的压测.压测时候比较容易触发OOM Killer,把cassandra进程干掉.问题是8G这个规格我配置的heap(Xmx ...
记一次线上Redis高负载排查经历
作者:JingQ https://www.sevenyuan.cn/ 周一早上刚上班,突然大量用户反馈进入网页很慢,登录服务器一看,Redis调用时间严重超时,这样高速的缓存反而变成了短板,由于数据一 ...
kafka实现异步发送_Kafka Producer 异步发送消息居然也会阻塞？
Kafka 一直以来都以高吞吐量的特性而家喻户晓,就在上周,在一个性能监控项目中,需要使用到 Kafka 传输海量消息,在这过程中遇到了一个 Kafka Producer 异步发送消息会被阻塞的问题, ...
Kafka 发送消息
– Start 点击此处观看本系列配套视频在上个例子中,我们使用了脚本来发送消息,来吧,让我们来自己写点代码来发送消息.首先还是按照上个例子,先启动 ZooKeeper 和启动 Kafka bor ...
kafka 基础概念、命令行操作（查看所有topic、创建topic、删除topic、查看某个Topic的详情、修改分区数、发送消息、消费消息、查看消费者组、更新消费者的偏移位置）
文章目录前言 1. 基础概念 Broker Producer Consumer Consumer Group Topic Partition Replica 2. 命令行操作 2.1 查看所有top ...
kafka实现异步发送_Kafka 异步消息也会阻塞？记一次 Dubbo 频繁超时排查过程
线上某服务 A 调用服务 B 接口完成一次交易,一次晚上的生产变更之后,系统监控发现服务 B 接口频繁超时,后续甚至返回线程池耗尽错误 Thread pool is EXHAUSTED.因为服务 B ...

记一次kafka无法生产发送消息排查经历

记一次kafka无法生产发送消息排查经历相关推荐

最新文章

热门文章