温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

kafka1.0.0集群搭建

发布时间:2020-08-18 08:14:03 来源:网络 阅读:4327 作者:leizhu900516 栏目:大数据

一、环境准备
1、软件
zookeeper3.4.11 https://www.apache.org/dyn/closer.cgi/zookeeper/
kafka1.0.0 https://www.apache.org/dyn/closer.cgi?path=/kafka/1.0.0/kafka_2.11-1.0.0.tgz
java8 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
2、硬件
✔ 机器:10.205.104.55
✔ 机器:10.205.102.52
✔ 机器:10.205.105.33
二、安装
jdk安装略
1、统一目录/opt
kafka1.0.0集群搭建
2、安装zookeeper(三台机器同样操作)
cp conf/zoo_sample.cfg zoo.cfg
grep ^[^#] conf/zoo.cfg
kafka1.0.0集群搭建
添加机器id到 dataDir=/opt/zookeeper-3.4.11/data目录下的myid文件中
机器:10.205.104.55 写1
机器:10.205.102.52 写2
机器:10.205.105.33 写3
kafka1.0.0集群搭建
每台机器都是同样的配置
启动zookeeper
bin/zkServer.sh start
检验
kafka1.0.0集群搭建
3、安装kafka(每台机器broker.id不同。这里依此是0,1,2)
每台机器依此配置
kafka1.0.0集群搭建
启动kafka(每台都启动)
bin/kafka-server-start.sh config/server-1.properties &
校验
kafka1.0.0集群搭建
创建topic
bin/kafka-topics.sh --create --zookeeper 10.205.104.55:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic
查看topic信息
bin/kafka-topics.sh --describe --zookeeper 10.205.104.55:2181 --topic my-replicated-topic
kafka1.0.0集群搭建
推送信息
bin/kafka-console-producer.sh --broker-list 10.205.104.55:9092 --topic my-replicated-topic
消费信息
bin/kafka-console-consumer.sh --bootstrap-server 10.205.104.55:9092 --from-beginning --topic my-replicated-topic
安装完毕
最后送上优化文章:kafka参数配置优化

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI