怎样在Debian上部署Kafka集群

debian

小樊

2025-02-19 10:29:27

栏目: 智能运维

在Debian上部署Kafka集群需要一些步骤，以下是详细的指南：

sudo apt update
sudo apt install openjdk-8-jdk

验证安装：

java -version

wget https://downloads.apache.org/kafka/3.5.2/kafka_2.12-3.5.2.tgz
tar -zvxf kafka_2.12-3.5.2.tgz
cd kafka_2.12-3.5.2

在/etc/profile文件最下方添加如下两行命令：

export KAFKA_HOME=/path/to/kafka
export PATH=$PATH:$KAFKA_HOME/bin

使配置生效：

source /etc/profile

在任意一台服务器上启动Zookeeper：

./zookeeper-server-start.sh ../config/zookeeper.properties

在每台服务器上修改server.properties文件：

broker.id=0
zookeeper.connect=192.168.11.59:2181

启动Kafka Broker：

./kafka-server-start.sh ../config/server.properties

使用以下命令查看Kafka是否启动成功：

lsof -i:9092

在每台服务器上修改server.properties文件，确保每台服务器的broker.id和listeners配置不同。

确保所有服务器的zookeeper.connect配置正确，指向Zookeeper的地址。

按照服务器的主机名顺序依次启动Zookeeper和Kafka Broker。

使用以下命令查看Kafka集群状态：

./kafka-topics.sh --zookeeper 192.168.11.59:2181 --describe

./kafka-topics.sh --zookeeper 192.168.11.59:2181 --create --topic my-topic --partitions 3 --replication-factor 2

./kafka-topics.sh --zookeeper 192.168.11.59:2181 --list

./kafka-console-consumer.sh --bootstrap-server 192.168.11.59:9092 --topic my-topic --from-beginning

./kafka-console-producer.sh --bootstrap-server 192.168.11.59:9092 --topic my-topic

最新问答