Kafka在Ubuntu上怎么搭建

ubuntu

小樊

2025-02-26 14:38:28

栏目: 智能运维

在Ubuntu上搭建Kafka的步骤如下：

1. 安装Java环境

首先，需要安装Java环境，因为Kafka是用Java编写的。可以使用以下命令安装OpenJDK：

sudo apt update
sudo apt install openjdk-8-jdk
java -version

2. 安装Zookeeper

Kafka依赖于Zookeeper进行集群管理和元数据存储。以下是安装和配置Zookeeper的步骤：

下载Zookeeper安装包：

wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz

解压安装包：

tar xvfz zookeeper-3.4.6.tar.gz

将Zookeeper文件夹移动到/usr/local目录下：

sudo mv zookeeper-3.4.6 /usr/local/zookeeper

配置Zookeeper：

sudo cat > /usr/local/zookeeper/conf/zoo.cfg << EOF
tickTime=2000
dataDir=/var/lib/zookeeper
clientPort=2181
EOF

启动Zookeeper：

sudo /usr/local/zookeeper/bin/zkServer.sh start

测试Zookeeper是否启动成功：

sudo netstat -nap | grep 2181

3. 安装Kafka

下载Kafka安装包：

wget https://archive.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

解压Kafka安装包：

tar xvfz kafka_2.11-0.9.0.1.tgz

将Kafka文件夹移动到/usr/local目录下：

sudo mv kafka_2.11-0.9.0.1 /usr/local/kafka

sudo mkdir /tmp/kafka-logs

配置Kafka：

编辑/usr/local/kafka/config/server.properties文件，设置以下参数：

broker.id=0
log.dirs=/tmp/kafka-logs
zookeeper.connect=localhost:2181

启动Kafka：

sudo /usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties

测试Kafka是否启动成功：

sudo netstat -nap | grep 9092

4. 创建和测试Topic

创建一个名为test的Topic：

sudo /usr/local/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

列出所有Topic以确认test Topic已创建：

sudo /usr/local/kafka/bin/kafka-topics.sh --list --zookeeper localhost:2181

使用Kafka控制台生产者发送消息：

sudo /usr/local/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

使用Kafka控制台消费者接收消息：

sudo /usr/local/kafka/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

请注意，上述步骤中的版本号和文件路径可能需要根据实际下载的Kafka版本和系统环境进行调整。此外，Kafka和Zookeeper的配置文件路径、端口号等也需要根据实际情况进行修改。在配置Zookeeper时，确保dataDir指向的目录存在并且具有写权限。在启动Kafka之前，确保Zookeeper已经启动并且运行正常。对于生产环境，建议使用最新稳定版本的Kafka和Zookeeper，并参考官方文档进行配置。

亿速云「云服务器」，即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘，价格低至29元/月。点击查看>>