使用Python的Kafka消费者从初始偏移量获取消息

在中国,只需一个选项,将以下内容以中文进行释义:

背景
背景说明一个事件或情境的发生和演变过程,以及影响该事件或情境的因素。

我将实时数据输入到Kafka中,但想从偏移量的起始位置开始获取数据。
因为文件中没有写明该方法,所以我想把它作为备忘录写下来。

图书馆

看来有几个Kafka的库可以选择,但我决定使用kafka-python 1.3.2。

编码
from kafka import KafkaConsumer, TopicPartition
consumer = KafkaConsumer(bootstrap_servers='hoge')

tp = TopicPartition('topic_name', 0)
consumer.assign([tp])
consumer.seek(tp, 0)

for msg in consumer:
    // do something
解释

在KafkaConsumer构造函数中,可以使用TopicPartition来指定主题名称而不指定主题。
接下来,使用seek来指定TopicPartition和偏移量,就可以实现这个功能。

广告
将在 10 秒后关闭
bannerAds