kafka基本原理重要概念优缺点

2019/2/21 星期四

kafka基本原理重要概念优缺点

官方网址：https://kafka.apache.org/
×××：http://archive.apache.org/dist/kafka/

1. kafka简介
   Kafka 是一个分布式的消息缓存系统，用于日志处理的分布式消息队列。日志数据容量大，但对可靠性要求不高，其日志数据主要包括用户行为（登录、浏览、点击、分享、喜欢）以及系统运行日志（CPU、内存、磁盘、网络、系统及进程状态）。当前很多的消息队列服务提供可靠交付保证，并默认是即时消费（不适合离线）。高可靠交付对日志不是必须的，故可通过降低可靠性来提高性能，同时通过构建分布式的集群，允许消息在系统中累积，使得kafka 同时支持离线和在线日志处理。Kafka的设计理念之一就是同时提供离线处理和实时处理。根据这一特性，可以使用Storm这种实时流处理系统对消息进行实时在线处理，同时使用Hadoop这种批处理系统进行离线处理，还可以同时将数据实时备份到另一个数据中心，只需要保证这三个操作所使用的Consumer属于不同的Consumer Group即可。

2. kafka架构

1、kafka 集群中的服务器都叫做broker
2、kafka 有两类客户端，一类叫producer（消息生产者），一类叫做consumer（消息消费者），客户端和broker 服务器之间采用tcp 协议连接
3、kafka 中不同业务系统的消息可以通过topic 进行区分，而且每一个消息topic 都会被分区，以分担消息读写的负载
4、每一个分区都可以有多个副本，以防止数据的丢失
5、某一个分区中的数据如果需要更新，都必须通过该分区所有副本中的leader 来更新
6、消费者可以分组（Consumer Group），比如有两个消费者组A 和B，共同消费一个topic：order_info,A 和B所消费的消息不会重复
比如order_info 中有100 个消息，每个消息有一个id,编号从0-99，那么，如果A组消费0-49 号，B 组就消费50-99 号
//生产环境中也可以让多个consumer共同消费同一个topic中的数据，需要设置调整 //代码段可以实现
7、消费者在具体消费某个topic 中的消息时，可以指定起始偏移量

Kafka系列视频教程之Kafka核心基础 -博彬

1. 为什么使用kafka
   1、作为缓存
   2、解（系统）耦合
   3、时间小于10ms 基本上是一种实时的

   他能简化，我们系统的设计，提示公司的开发速度，和效率

2. 为何使用消息系统
   解耦
   在项目启动之初来预测将来项目会碰到什么需求，是极其困难的。消息系统在处理过程中间插入了一个隐含的、基于数据的接口层，两边的处理过程都要实现这一接口。这允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。

冗余
有些情况下，处理数据的过程会失败。除非数据被持久化，否则将造成丢失。消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中，在把一个消息从队列中删除之前，需要你的处理系统明确的指出该消息已经被处理完毕，从而确保你的数据被安全的保存直到你使用完毕。

扩展性
因为消息队列解耦了你的处理过程，所以增大消息入队和处理的频率是很容易的，只要另外增加处理过程即可。不需要改变代码、不需要调节参数。扩展就像调大电力按钮一样简单。

灵活性 & 峰值处理能力
在访问量剧增的情况下，应用仍然需要继续发挥作用，但是这样的突发流量并不常见；如果为以能处理这类峰值访问为标准来投入资源随时待命无疑是巨大的浪费。使用消息队列能够使关键组件顶住突发的访问压力，而不会因为突发的超负荷的请求而完全崩溃。

可恢复性
系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。

顺序保证
在大多使用场景下，数据处理的顺序都很重要。大部分消息队列本来就是排序的，并且能保证数据会按照特定的顺序来处理。Kafka保证一个Partition内的消息的有序性。

缓冲
在任何重要的系统中，都会有需要不同的处理时间的元素。例如，加载一张图片比应用过滤器花费更少的时间。消息队列通过一个缓冲层来帮助任务最高效率的执行———写入队列的处理会尽可能的快速。该缓冲有助于控制和优化数据流经过系统的速度。

异步通信
很多时候，用户不想也不需要立即处理消息。消息队列提供了异步处理机制，允许用户把一个消息放入队列，但并不立即处理它。想向队列中放入多少消息就放多少，然后在需要的时候再去处理它们。

1. kafka重要概念
   介绍kafka的几个重要概念
   Broker：消息中间件处理结点，一个Kafka的server节点就是一个broker，多个broker可以组成一个Kafka集群；
   Topic：一类消息，例如page view日志、click日志等都可以以topic的形式存在，Kafka集群能够同时负责多个topic的分发；
   Partition：topic物理上的分组，一个topic可以分为多个partition，每个partition是一个有序的队；
   Segment：每个partition又由多个segment file组成；
   offset：每个partition都由一系列有序的、不可变的消息组成，这些消息被连续的追加到partition中。partition中的每个消息都有一个连续的序列号叫做offset，用于partition唯一标识一条消息；
   message：这个算是kafka文件中最小的存储单位，即是 a commit log。

2. topic：创建topic名称
   partition：分区编号
   offset：表示该partition已经消费了多少message
   logsize：表示该paritition生产了多少的message
   lag：表示有多少条message未被消费
   owner：表示消费者
   create：表示该partition创建时间
   last seen：表示消费状态刷新最新时间

kafka的优点：
消息队列kafka特性 https://blog.csdn.net/qq_36236890/article/details/81174504
1、单机吞吐量：
10万级别，这是kafka最大的优势，就是他的吞吐量高，一般配合大数据类的系统来进行实施数据计算，日志采集等场景
2、topic数据对吞吐量的影响：
topic从几十个到上百个不等，但是topic越多，会很大程度的影响吞吐量，所以在同等机器下，kafka经量保证topic数量不要过度。如果要支撑大规模的topic的话，需要增加更多的集群资源。
3、时效性：
延迟控制在ms以内
4、可用性：
非常高，kafka是分布是的，一个数据多个副本，少数机器的宕机，不会丢数据，不会导致不可用
5、消息可靠性
经过参数优化配置，消息可以做到0丢失
6、功能支持
功能较为简单，主要支持简单的MQ功能，在大数据领域的实时计算以及日志采集被大规模使用，是事实上的标准
7、优劣势总结
kafka的特点其实很明显，就是仅仅提供较少的核心功能，但是提供较高的吞吐量，ms级别的延迟，较高的可用性以及可靠性，而且是分布式的，可以任意的扩展，同时kafka也是做好的是支撑少量的topic数量即可，保证其吞吐量，而且kafka唯一的一点劣势就是可能出现就消息的重复消费，那么对数据准确性会产生影响，在大数据领域中以及日志收集中，这点轻微可以忽略。
kafka的特性就是天然适合大数据实时计算以及日志的收集。

Kafka天生就是一个分布式的消息队列，它可以由多个broker组成，每个broker是一个节点；你创建一个topic，这个topic可以划分为多个partition，每个partition可以存在于不同的broker上，每个partition就放一部分数据。