kafka python教程_kafka python 指定分区消费

通过assign、subscribe两者之一为消费者设置消费的主题

consumer = KafkaConsumer(bootstrap_servers=['127.0.0.1:9092'],

auto_offset_reset='latest',

enable_auto_commit=True, # 自动提交消费数据的offset

consumer_timeout_ms= 10000, # 如果1秒内kafka中没有可供消费的数据，自动退出

value_deserializer=lambda m: json.loads(m.decode('ascii')), #消费json 格式的消息

client_id='consumer-python3'

)

# consumer.assign([TopicPartition('MY_TOPIC1', 0)])

# msg = next(consumer)

# print(msg)

consumer.subscribe('MY_TOPIC1')

for msg in consumer:

print (msg)

API及常用参数说明：

class kafka.KafkaConsumer(*topics, **configs)

*topics (str) – 可选，设置需要订阅的topic，如果未设置，需要在消费记录前调用subscribe或者assign。

client_id (str) – 客户端名称，默认值: ‘kafka-python-{version}’

group_id (str or None) – 消费组名称。如果为None，则通过group coordinator auto-partition分区分配，offset提交被禁用。默认为None

auto_offset_reset (str) – 重置offset策略: 'earliest'将移动到最老的可用消息, 'latest'将移动到最近消息。设置为其它任何值将抛出异常。默认值：'latest'。

enable_auto_commit (bool) – 如果为True，将自动定时提交消费者offset。默认为True。

auto_commit_interval_ms (int) – 自动提交offset之间的间隔毫秒数。如果enable_auto_commit 为true，默认值为： 5000。

value_deserializer(可调用对象) - 携带原始消息value并返回反序列化后的value

subscribe(topics=(), pattern=None, listener=None)

订阅需要的主题

topics (list) – 需要订阅的主题列表

pattern (str) – 用于匹配可用主题的模式，即正则表达式。注意：必须提供topics、pattern两者参数之一，但不能同时提供两者。

metrics(raw=False)

获取消费者性能指标。

参考API：https://kafka-python.readthedocs.io/en/master/apidoc/KafkaConsumer.html

原文强参考：https://www.cnblogs.com/shouke/p/10463377.html

kafka python教程_kafka python 指定分区消费相关推荐

【kafka】kafka 指定分区消费不会触发 reblance
文章目录 1.概述 2.验证 2.1 2个都是subscribeTopic 2.2 指定消费与全部消费 2.3 两个指定消费 2.4 2个都消费同样的分区呢? 1.概述今天在博客:Kafka-消费, ...
kafka指定分区消费
前言在某些场景中,消费者组中不同的消费者需要从某个topic下的不同分区接收消息,并确保消息的有序性,或者producer端需要根据一定的业务规则对消息进行分类然后发送到不同的分区,然后不同的消费者 ...
廖雪峰python教程书-Python 爬虫：把廖雪峰的教程转换成 PDF 电子书
写爬虫似乎没有比用 Python 更合适了,Python 社区提供的爬虫工具多得让你眼花缭乱,各种拿来就可以直接用的 library 分分钟就可以写出一个爬虫出来,今天就琢磨着写一个爬虫,将廖雪峰的 ...
python教程实例-python教程实例
广告关闭腾讯云11.11云上盛惠 ,精选热门产品助力上云,云服务器首年88元起,买的越多返的越多,最高返5000元! 然后我们要将python原生数据类型恢复成正常的对象实例. serializer ...
Python教程：Python中的for 语句
Python 中的 for 语句与你在 C 或 Pascal 中可能用到的有所不同. Python教程中的 for 语句并不总是对算术递增的数值进行迭代(如同 Pascal),或是给予用户定义迭代步 ...
python3 os.system 异步执行_《sentos python教程》 Python os.system(command)，这样执行的command命令，和主程序是异步的吗？...
如何学习python的os模块就那么几个长用的方法属性,还要怎么学 python os模块怎么使用常用方法: 1. os.name--判断正在实用的平Windows 返回 'nt'; Linux ...
简明python教程-简明Python教程-中文版.pdf
您所在位置:网站首页 > 海量文档 &nbsp>&nbsp计算机&nbsp>&nbspPython 简明Python教程-中文版.pdf152页本文 ...
Python学习路线，Python教程，Python入门，Python自学课程，Python学习网站
这是一篇关于如何成为python开发者学习路线图的非常规咆哮体文章,也是一篇 Python 入门指南,针对那些没有任何编程经验,从零开始学习 Python 的同学.不管你学习的出发点是兴趣驱动.拓展思 ...
【白手起家】Python教程01——Python总论
文章目录 1.Pyhton的起源 2.Python的发展 3.Python的特点 1.Pyhton的起源 Python的创始人为Guido van Rossum.1989年圣诞节期间,在阿姆斯特丹,G ...

kafka python教程_kafka python 指定分区消费

kafka python教程_kafka python 指定分区消费相关推荐

最新文章

热门文章