在Debian上高效部署Kafka需要考虑多个方面,包括安装前的环境准备、安装步骤、配置以及优化等。以下是一个详细的指南:
安装Java环境:
Kafka是用Java编写的,因此需要先安装Java运行环境。
sudo apt update
sudo apt install openjdk-11-jdk
java -version
安装Zookeeper(如果使用 Kraft模式可跳过):
在Kafka 2.8.0及以后的版本中,可以使用Kraft模式,减少对Zookeeper的依赖。
wget https://downloads.apache.org/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz
tar -xzf apache-zookeeper-3.7.0-bin.tar.gz
sudo mv apache-zookeeper-3.7.0 /opt/zookeeper
配置Zookeeper:
编辑/opt/zookeeper/conf/zoo.cfg
文件,设置数据目录和客户端端口等。
dataDir=/var/lib/zookeeper
clientPort=2181
配置防火墙:
允许Zookeeper使用的端口通过防火墙。
sudo ufw allow 2181/tcp
sudo ufw allow 2888/tcp
sudo ufw allow 3888/tcp
sudo ufw reload
下载Kafka:
从Apache Kafka官网下载对应版本的Kafka。
wget https://downloads.apache.org/kafka/3.5.2/kafka_2.12-3.5.2.tgz
解压Kafka:
tar -xzf kafka_2.12-3.5.2.tgz
sudo mv kafka_2.12-3.5.2 /opt/kafka
配置Kafka:
编辑Kafka的配置文件/opt/kafka/config/server.properties
,设置 broker ID、listeners、advertised.listeners 等。
broker.id=0
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://your.kafka.server.ip:9092
启动Zookeeper:
/opt/zookeeper/bin/zkServer.sh start
启动Kafka Broker:
/opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties
/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties
如果需要部署Kafka集群,可以在多台服务器上重复上述步骤,并确保每台服务器的server.properties
配置文件中的broker.id
和listeners
等设置不同。
亿速云「云服务器」,即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘,价格低至29元/月。点击查看>>