温馨提示×

python怎么消费kafka最新数据

小亿
271
2023-12-21 02:15:01
栏目: 编程语言

要消费Kafka最新数据,可以使用kafka-python库。下面是一个简单的示例代码:

from kafka import KafkaConsumer

# 配置Kafka连接信息
bootstrap_servers = 'localhost:9092'  # Kafka服务器地址和端口号
topic = 'my_topic'  # Kafka主题名称
group_id = 'my_group'  # 消费者组ID

# 创建KafkaConsumer对象
consumer = KafkaConsumer(topic,
                         bootstrap_servers=bootstrap_servers,
                         group_id=group_id,
                         auto_offset_reset='latest')

# 消费最新数据
for message in consumer:
    print(message.value)

在上面的代码中,首先需要配置Kafka的连接信息,包括Kafka服务器地址和端口号、主题名称和消费者组ID。然后,创建一个KafkaConsumer对象,并指定要消费的主题、Kafka服务器地址、消费者组ID和auto_offset_reset参数设置为'latest',表示从最新的偏移量开始消费。

最后,通过for循环遍历消费者对象,打印每条消息的值。这样就可以消费Kafka的最新数据了。

0