Debian上Kafka如何进行集群部署

debian

小樊

2025-02-27 12:23:34

栏目: 智能运维

在Debian上部署Kafka集群涉及多个步骤，包括安装必要的软件、配置Kafka和Zookeeper、启动服务以及验证集群状态。以下是一个详细的步骤指南：

1. 环境准备

安装JDK：Kafka运行在JVM上，因此需要安装JDK。可以使用以下命令安装OpenJDK 8：
```
sudo apt update
sudo apt install openjdk-8-jdk
```

下载并解压Kafka：从Apache Kafka官网下载所需版本的Kafka安装包，并解压到指定目录。

wget https://archive.apache.org/dist/kafka/2.6.0/kafka_2.13-2.6.0.tgz
tar -zxvf kafka_2.13-2.6.0.tgz
cd kafka_2.13-2.6.0

2. 配置Zookeeper

下载并解压Zookeeper：同样从Apache Kafka官网下载Zookeeper安装包，并解压。

wget http://archive.apache.org/dist/zookeeper/stable/zookeeper-3.6.2.tar.gz
tar -zxvf zookeeper-3.6.2.tar.gz
cd zookeeper-3.6.2

修改Zookeeper配置文件：复制zoo_sample.cfg为zoo.cfg，并修改以下配置：

dataDir=/var/lib/zookeeper
clientPort=2181
server.1=zookeeper1:2888:3888
server.2=zookeeper2:2888:3888
server.3=zookeeper3:2888:3888

启动Zookeeper：

bin/zookeeper-server-start.sh config/zoo.cfg

3. 配置Kafka

修改Kafka配置文件：在每个Kafka节点的config目录下，修改server.properties文件，设置broker.id、listeners、log.dirs和zookeeper.connect。
```
broker.id=0
listeners=PLAINTEXT://kafka1:9092
log.dirs=/data/kafka
zookeeper.connect=zookeeper1:2181,zookeeper2:2181,zookeeper3:2181
```

分发配置文件：将修改好的配置文件复制到其他Kafka节点。

scp /path/to/kafka/config/server.properties hadoop2:/path/to/kafka/config/
scp /path/to/kafka/config/server.properties hadoop3:/path/to/kafka/config/

4. 启动Kafka集群

启动Kafka服务：在每个节点上启动Kafka服务。
```
bin/kafka-server-start.sh config/server.properties
```

5. 验证集群状态

创建测试主题：创建一个测试主题以验证集群功能。

bin/kafka-topics.sh --create --zookeeper zookeeper1:2181,zookeeper2:2181,zookeeper3:2181 --replication-factor 3 --partitions 3 --topic test

生产者和消费者测试：分别启动生产者和消费者以验证消息传递。

bin/kafka-console-producer.sh --broker-list kafka1:9092,kafka2:9092,kafka3:9092 --topic test
bin/kafka-console-consumer.sh --bootstrap-server kafka1:9092,kafka2:9092,kafka3:9092 --topic test --from-beginning

亿速云「云服务器」，即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘，价格低至29元/月。点击查看>>