Kafka消息传递机制在Debian上的实现

debian

小樊

2025-02-16 07:04:34

栏目: 智能运维

Kafka是一种分布式、分区的、多副本的、多订阅者的分布式消息系统，它采用发布/订阅模式，允许生产者发布消息到指定的主题，消费者订阅指定主题的消息并从Broker中获取消息。以下是关于Kafka消息传递机制在Debian上的实现的相关信息：

消息的发送：生产者负责将消息发送到Kafka。在发送消息时，生产者需要指定消息要发送到的主题（topic）和分区（partition）。Kafka通过将消息分配给不同的分区来实现负载均衡和数据分布。
消息的存储：Broker负责接收来自生产者的消息，并将消息存储在消息队列中。Broker采用内存加磁盘的存储机制，将接收到的消息先存储在内存中，然后根据一定的策略（如按照时间或大小等）将消息写入磁盘，以实现数据的持久化和备份。
消息的消费：消费者从Kafka中获取消息并进行相应的业务逻辑处理。消费者通过订阅指定的主题来获取该主题的消息。Kafka采用拉取（pull）模式，即Consumer主动从Broker中拉取消息，而不是Broker主动推送消息给Consumer。

sudo apt-get update
sudo apt-get install openjdk-11-jdk

wget https://downloads.apache.org/kafka/2.8.0/kafka_2.13-2.8.0.tgz

tar -xzf kafka_2.13-2.8.0.tgz
cd kafka_2.13-2.8.0

编辑config/server.properties文件，设置broker.id、listeners、advertised.listeners等参数。

./bin/zookeeper-server-start.sh config/zookeeper.properties
./bin/kafka-server-start.sh config/server.properties

./bin/kafka-topics.sh --create --topic my-topic --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1

生产者发送消息：

./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-topic

消费者消费消息：

./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic my-topic --from-beginning

以上就是在Debian上实现Kafka消息传递机制的基本步骤。

最新问答