Kafka如何在Ubuntu上部署

ubuntu

小樊

2025-03-05 06:31:36

栏目: 智能运维

在Ubuntu上部署Apache Kafka的步骤如下：

1. 安装Java开发工具包（JDK）

首先，确保你的系统上安装了JDK。你可以使用以下命令来安装OpenJDK 8：

sudo apt update
sudo apt install openjdk-8-jdk

安装完成后，验证Java是否正确安装：

java -version

2. 安装Zookeeper

Kafka依赖于Zookeeper，因此你需要先安装Zookeeper。你可以从Apache官网下载Zookeeper的安装包，并使用以下命令进行安装：

wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz
tar xvf zookeeper-3.4.6.tar.gz
sudo mv zookeeper-3.4.6 /usr/local/zookeeper

接下来，配置Zookeeper：

sudo cat > /usr/local/zookeeper/conf/zoo.cfg << EOF
tickTime=2000
dataDir=/var/lib/zookeeper
clientPort=2181
EOF

启动Zookeeper服务：

sudo /usr/local/zookeeper/bin/zkServer.sh start

验证Zookeeper是否启动成功：

sudo netstat -nap | grep 2181

3. 安装Kafka

下载Kafka安装包，你可以从Apache Kafka官网下载最新版本的Kafka：

wget https://downloads.apache.org/kafka/3.5.2/kafka_2.12-3.5.2.tgz
tar -xzf kafka_2.12-3.5.2.tgz
sudo mv kafka_2.12-3.5.2 /usr/local/kafka

配置Kafka：

cd /usr/local/kafka
sudo mkdir /tmp/kafka-logs

编辑Kafka的配置文件server.properties：

sudo nano /usr/local/kafka/config/server.properties

确保以下配置项正确设置：

broker.id=0
listeners=PLAINTEXT://:9092
log.dirs=/tmp/kafka-logs
zookeeper.connect=localhost:2181

启动Kafka服务：

sudo /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties

验证Kafka是否启动成功：

sudo netstat -nap | grep 9092

4. 创建和测试Kafka Topic

创建一个名为test的Topic：

sudo /usr/local/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

列出所有Topic以确认新Topic已创建：

sudo /usr/local/kafka/bin/kafka-topics.sh --list --zookeeper localhost:2181

使用Kafka控制台生产者发送消息：

sudo /usr/local/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

使用Kafka控制台消费者消费消息：

sudo /usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

5. （可选）配置Kafka集群

如果你需要部署一个Kafka集群，可以复制Kafka目录并修改每个副本的server.properties文件，确保broker.id和listeners等配置项不同。然后分别启动每个Kafka实例。

注意事项

确保所有配置文件中的路径和端口设置正确。
如果你在云环境中部署Kafka，确保配置了正确的网络设置，以便Kafka实例之间可以相互通信。
定期检查Kafka和Zookeeper的日志文件，以便及时发现和解决问题。

亿速云「云服务器」，即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘，价格低至29元/月。点击查看>>