Ubuntu Kafka集群如何部署

在Ubuntu上部署Kafka集群涉及多个步骤，包括安装Java、Zookeeper、Kafka，配置相关文件，以及启动服务。以下是一个详细的步骤指南：

1. 安装Java

首先，确保你的Ubuntu系统上安装了Java。你可以使用以下命令来安装OpenJDK 8：

sudo apt update
sudo apt install openjdk-8-jdk

验证Java安装成功：

java -version

2. 安装Zookeeper

Kafka依赖于Zookeeper进行集群管理和协调。你可以下载并解压Zookeeper：

wget https://downloads.apache.org/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz
tar -xzf apache-zookeeper-3.7.0-bin.tar.gz
sudo mv apache-zookeeper-3.7.0 /opt/zookeeper

配置Zookeeper：

cd /opt/zookeeper
sudo cp config/zoo.cfg /opt/zookeeper/conf/
sudo mkdir -p /opt/zookeeper/data
sudo mkdir -p /opt/zookeeper/log

编辑zoo.cfg文件：

dataDir=/opt/zookeeper/data
clientPort=2181
server.1=192.168.1.1:2888:3888
server.2=192.168.1.2:2888:3888
server.3=192.168.1.3:2888:3888

启动Zookeeper：

cd /opt/zookeeper/bin
./zkServer.sh start

验证Zookeeper是否启动成功：

./zkServer.sh status

3. 安装Kafka

下载Kafka：

wget https://downloads.apache.org/kafka/2.8.0/kafka_2.12-2.8.0.tgz
tar -xzf kafka_2.12-2.8.0.tgz
sudo mv kafka_2.12-2.8.0 /opt/kafka

配置Kafka：

cd /opt/kafka
sudo mkdir -p /opt/kafka/logs
sudo cp config/server.properties /opt/kafka/config/

编辑server.properties文件：

broker.id=0
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://192.168.1.1:9092
zookeeper.connect=192.168.1.2:2181,192.168.1.3:2181,192.168.1.4:2181
log.dirs=/opt/kafka/logs
num.network.threads=3
num.io.threads=8
num.partitions=1
num.recovery.threads.per.data.dir=1
log.retention.hours=168
log.segment.bytes=1073741824
log.flush.interval.messages=100000
log.flush.interval.ms=1000

启动Kafka：

cd /opt/kafka/bin
./kafka-server-start.sh /opt/kafka/config/server.properties

验证Kafka是否启动成功：

netstat -tulnp | grep 9092

4. 验证Kafka集群

创建一个测试主题：

./kafka-topics.sh --create --zookeeper 192.168.1.2:2181 --replication-factor 1 --partitions 1 --topic test

列出主题：

./kafka-topics.sh --list --zookeeper 192.168.1.2:2181

生产者发送消息：

./kafka-console-producer.sh --broker-list 192.168.1.1:9092 --topic test

消费者消费消息：

./kafka-console-consumer.sh --bootstrap-server 192.168.1.1:9092 --topic test --from-beginning

5. 配置Kafka为Systemd服务（可选）

创建Kafka服务文件：

sudo nano /etc/systemd/system/kafka.service

添加以下内容：

[Unit]
Description=Apache Kafka Server
Requires=zookeeper.service
After=zookeeper.service

[Service]
Type=simple
User=kafka
Group=kafka
WorkingDirectory=/opt/kafka
ExecStart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties
ExecStop=/opt/kafka/bin/kafka-server-stop.sh
Restart=always

[Install]
WantedBy=multi-user.target

启用并启动Kafka服务：

sudo systemctl daemon-reload
sudo systemctl start kafka
sudo systemctl enable kafka

6. 监控和管理Kafka集群

你可以使用Kafka自带的工具来监控和管理集群，例如kafka-topics.sh、kafka-consumer-groups.sh等。

以上步骤提供了一个基本的Ubuntu Kafka集群部署指南。根据具体需求，你可能需要调整配置和参数。

亿速云「云服务器」，即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘，价格低至29元/月。点击查看>>