如何在Ubuntu上搭建Kafka

ubuntu

小樊

2025-02-22 13:51:27

栏目: 智能运维

在Ubuntu上搭建Apache Kafka集群涉及多个步骤，包括安装Java、下载Kafka、配置Kafka以及启动Kafka服务。以下是一个基本的指南：

Kafka需要Java运行环境，因此首先需要安装Java。

sudo apt update
sudo apt install openjdk-11-jdk

验证Java安装：

java -version

从Apache Kafka官方网站下载最新版本的Kafka。

wget https://downloads.apache.org/kafka/3.2.0/kafka_2.13-3.2.0.tgz
tar -xzf kafka_2.13-3.2.0.tgz
cd kafka_2.13-3.2.0

Kafka的配置文件位于config目录下。主要配置文件包括server.properties和zookeeper.properties。

编辑config/zookeeper.properties文件：

dataDir=/var/lib/zookeeper
clientPort=2181
maxClientCnxns=0

创建数据目录并启动Zookeeper：

sudo mkdir -p /var/lib/zookeeper
sudo chown -R $(whoami):$(whoami) /var/lib/zookeeper
bin/zookeeper-server-start.sh config/zookeeper.properties

编辑config/server.properties文件：

broker.id=1
listeners=PLAINTEXT://:9092
log.dirs=/var/lib/kafka
zookeeper.connect=localhost:2181

在新的终端窗口中启动Kafka Broker：

bin/kafka-server-start.sh config/server.properties

创建一个Topic来测试Kafka：

bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1

列出所有Topic以验证创建成功：

bin/kafka-topics.sh --list --bootstrap-server localhost:9092

启动一个生产者来发送消息：

bin/kafka-console-producer.sh --topic test --bootstrap-server localhost:9092

在另一个终端窗口中启动一个消费者来接收消息：

bin/kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server localhost:9092

在生产者终端输入消息并按回车，消费者终端应该会显示这些消息。

停止Kafka Broker和Zookeeper：

# 停止Kafka Broker
bin/kafka-server-stop.sh

# 停止Zookeeper
bin/zookeeper-server-stop.sh

通过以上步骤，你可以在Ubuntu上成功搭建一个基本的Kafka集群。

最新问答