温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

Kafka的核心概念是什么

发布时间:2021-06-24 14:37:48 来源:亿速云 阅读:203 作者:chen 栏目:开发技术

本篇内容介绍了“Kafka的核心概念是什么”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

1、基础

Kafka的核心概念是什么

Kafka 是一套流处理系统,可以让后端服务轻松的相互沟通,是微服务架构中常用的组件。

Kafka的核心概念是什么

2、生产者消费者

生产者服务 Producer 向 Kafka 发送消息,消费者服务 Consumer 监听 Kafka 接收消息。

Kafka的核心概念是什么

一个服务可以同时为生产者和消费者。

Kafka的核心概念是什么

3、Topics 主题

Topic 是生产者发送消息的目标地址,是消费者的监听目标。

Kafka的核心概念是什么

一个服务可以监听、发送多个 Topics。

Kafka的核心概念是什么

Kafka 中有一个【consumer-group(消费者组)】的概念。

这是一组服务,扮演一个消费者。

Kafka的核心概念是什么

如果是消费者组接收消息,Kafka 会把一条消息路由到组中的某一个服务。

Kafka的核心概念是什么

这样有助于消息的负载均衡,也方便扩展消费者。

Topic 扮演一个消息的队列。首先,一条消息发送了。

Kafka的核心概念是什么

然后,这条消息被记录和存储在这个队列中,不允许被修改。

Kafka的核心概念是什么

接下来,消息会被发送给此 Topic 的消费者。

但是,这条消息并不会被删除,会继续保留在队列中。

Kafka的核心概念是什么

继续发送消息。

Kafka的核心概念是什么

像之前一样,这条消息会发送给消费者、不允许被改动、一直呆在队列中。(消息在队列中能呆多久,可以修改 Kafka 的配置)

Kafka的核心概念是什么

Kafka的核心概念是什么

4、Partitions 分区

上面 Topic 的描述中,把 Topic 看做了一个队列,实际上,一个 Topic 是由多个队列组成的,被称为【Partition(分区)】。

这样可以便于 Topic 的扩展。

Kafka的核心概念是什么

生产者发送消息的时候,这条消息会被路由到此 Topic 中的某一个 Partition。

Kafka的核心概念是什么

消费者监听的是所有分区并消耗所有人的事件。

Kafka的核心概念是什么

生产者发送消息时,默认是面向 Topic 的,由 Topic 决定放在哪个 Partition,默认使用轮询策略。

Kafka的核心概念是什么

也可以配置 Topic,让同类型的消息都在同一个 Partition。

例如,处理用户消息,可以让某一个用户所有消息都在一个 Partition。

例如,用户 1 发送了 3 条消息:A、B、C,默认情况下,这 3 条消息是在不同的 Partition 中(如 P1、P2、P3)。

在配置之后,可以确保用户 1 的所有消息都发到同一个分区中(如 P1)。

Kafka的核心概念是什么

这个功能有什么用呢?这是为了提供消息的【有序性】。

消息在不同的 Partition 是不能保证有序的,只有一个 Partition 内的消息是有序的。

Kafka的核心概念是什么

Kafka的核心概念是什么

5、架构

Kafka 是集群架构的,ZooKeeper是重要组件。

Kafka的核心概念是什么

ZooKeeper 管理着所有的 Topic 和 Partition。

Topic 和 Partition 存储在 Node 物理节点中,ZooKeeper负责维护这些 Node。

Kafka的核心概念是什么

例如,有 2 个 Topic,各自有 2 个 Partition。

Kafka的核心概念是什么

这是逻辑上的形式,但在 Kafka 集群中的实际存储可能是这样的:

Kafka的核心概念是什么

Topic A 的 Partition #1 有 3 份,分布在各个 Node 上。

这样可以增加 Kafka 的可靠性和系统弹性。

3 个 Partition #1 中,ZooKeeper 会指定一个 Leader,负责接收生产者发来的消息。

Kafka的核心概念是什么

其他 2 个 Partition #1 会作为 Follower,Leader 接收到的消息会复制给 Follower。

Kafka的核心概念是什么

这样,每个 Partition 都含有了全量消息数据。

Kafka的核心概念是什么

即使某个 Node 节点出现了故障,也不用担心消息的损坏。

Topic A 和 Topic B 的所有 Partition 分布可能就是这样的:

Kafka的核心概念是什么

“Kafka的核心概念是什么”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注亿速云网站,小编将为大家输出更多高质量的实用文章!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI