温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

Kafka中容易混淆的概念有哪些

发布时间:2021-12-08 15:38:53 来源:亿速云 阅读:162 作者:小新 栏目:大数据

这篇文章主要介绍Kafka中容易混淆的概念有哪些,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!


broker-list

broker指的是kafka的服务端,可以是一个服务器也可以是一个集群。producer和consumer都相当于这个服务端的客户端。

broker-list指定集群中的一个或者多个服务器,一般我们再使用console producer的时候,这个参数是必备参数,另外一个必备的参数是topic,如下示例:

C:\kafka\kafka_2.12-1.1.1
λ .\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test20190713
>this is a test
>
 

本地主机如果要模拟多个broker,方法是复制多个server.properties,然后修改里面的端口, broker.id等配置模拟多个broker集群。

比如模拟三个broker的情况,首先把config 目录下的 server.properties 复制两份,分别命名为 server-1.properties 和 server-2.properties,然后修改这两个文件的下列属性,

server-1.properties:

broker.id=1
listeners=PLAINTEXT://:9093
log.dirs=C:/kafka/broker1
 

server-2.properties:

broker.id=2
listeners=PLAINTEXT://:9094
log.dirs=C:/kafka/broker2
 

broker.id 用来唯一标识每一个 broker,每个broker都有一个唯一的id值用来区分彼此。Kafka在启动时会在zookeeper中/brokers/ids路径下创建一个与当前broker的id为名称的虚节点,Kafka的健康状态检查就依赖于此节点。

我们可以打开一个zk的客户端,通过ls命令来查看下这个路径下的内容:

λ .\bin\windows\zookeeper-shell.bat localhost:2181
Connecting to localhost:2181
Welcome to ZooKeeper!
JLine support is disabled
ls
WATCHER::

WatchedEvent state:SyncConnected type:None path:null

ls /brokers/ids
[0]
 

可以看到我们默认启动的这个broker.id为0的节点。

 

bootstrap-servers vs zookeeper

bootstrap-servers指的是目标集群的服务器地址,这个和broker-list功能是一样的,只不过我们在console producer要求用后者。

以前我们使用console consumer测试消息收发时会这样写:

C:\kafka\kafka_2.12-1.1.1
λ .\bin\windows\kafka-console-consumer.bat --zookeeper localhost:2181 --topic test20190713
Using the ConsoleConsumer with old consumer is deprecated and will be removed in a future major release. Consider using the new consumer by passing [bootstrap-server] instead of [zookeeper].
 

这样可以接收到生产者控制台发送的消息。

现在我们也可以这样写,

C:\kafka\kafka_2.12-1.1.1 λ .\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test20190713

你可以自己测试下,也是可以收到消息的。

前者是老版本的用法,0.8以前的kafka,消费的进度(offset)是写在zk中的,所以consumer需要知道zk的地址。后来的版本都统一由broker管理,所以就用bootstrap-server了。

Kafka中容易混淆的概念有哪些  
Kafka中容易混淆的概念有哪些

以上是“Kafka中容易混淆的概念有哪些”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注亿速云行业资讯频道!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI