franzkafka攻略版kafka
卡夫卡摩托车
使用Scala和java开发的基于卡夫卡、发布和订阅模型的高吞吐量、分发和传输系统30
卡夫卡式使用者在线上与线上执行讯息时，会将讯息资料逐一储存在磁碟上，并由分散的处理器系统(卡夫卡、斯托、Spark、Flink等)造成资料遗失
便便专家Jay Kreps告诉我卡夫卡这个名字的由来
"卡夫卡这本书是个很好的作者我在大学里上过很多文学课我很喜欢弗朗茨卡夫卡
什么消息
查查卡夫卡。我们经常谈论的消息队列MQ(消息队列)，因为大便本质上是消息队列
什么是消息队列，爷爷先正式回答
非同步处理、应用程式，为大型分散式系统提供高效能、高可用性、扩充能力及最新的稳定性
如下图所示，系统将向MQ发送消息a，系统将从MQ接收消息b
为什么系统a不直接向系统发送消息取决于MQ的三个主要功能
1)非同步处理
由于邮件队列不需要立即处理邮件，因此将所有邮件放置在MQ上的非同步处理位置(例如系统发送的大量数据)
2)应用分析
邮件队列消除了系统之间的依赖关系，并降低了系统更改的影响，例如，订单系统a在用户下订单后需要通知系统b
此时，如果系统a严重依赖于系统b和系统c，或者需要重新插入高连接的系统d，则需要更改系统a的代码
65432 + 4R
如果这些依赖系统迭代频繁，系统a很难维护，请使用其他系统a，如下图所示
号
3)截断流峰
它也称为flow top；实际上，当数据增加时，它可以有效隔离上下的工作，并填充高速缓存中突然增加的流量
例如，在活动页上通常有50qps，可在特定时间达到1000 qpss，但系统当前的处理能力高达100qps，如下图所示
号
当然，除了以上的MQ之外，这些功能还提供了信息顺序保证、恢复、永久存储和卡夫卡式的更多功能
MQ两种传输方式
消息在MQ点到点传输模型中有两种类型(点到点)和发布/订阅模型(发布/订阅)
1)点到点样板
如下面所示，系统a发送的信息只能由系统b接收，而其他系统a在30天内无法响应，就像其他系统a呼叫的b一样
号
2)发行/订阅范本
不同于点对点模式，topic模型的发布/订阅模式可以在概念上传送相同主题的多个发布者资讯，或是在每日的生活中，传送相同主题的多个订阅者资讯给不同的报纸和杂志
号
卡夫卡的哪种传播模式可以同时支援？待会再谈
卡夫卡的体系结构
我们终于到了卡夫卡的舞台。系统架构厂商、代理程式、cosumer、以及broker等字元集
号
制造商:负责向客户发送生产信息:支持卡夫卡式消息的异步发送和批量发送代理:服务代理节点，无限制地扩展卡夫卡式服务器如果您不知道，您可以阅读我之前发送的文章并完成搜索引擎:消费群是指如前所述，同时创建多个消费群一个客户群，旨在让多个消费者同时消费
Topic的中间部分只能是同一部门的一个客户组，而其他消费者不能是这里的一个消费者，即运行消费者应用程序的过程或一个
制造商会在整个卡夫卡(卡夫卡)集内传送代理程式，然后将收到的代理程式资讯储存至磁碟，并订阅消费者新闻，而zooker则接收消费者新闻，这是用来管理群集中继资料与选取控制项的卡夫卡集
卡夫卡的重要思想
1)主题和分区
在卡夫卡中，讯息会被归类为Topic，Topic会被视为逻辑上的顺序，制造商产生的任何新闻都必须指定Topic，然后客户会根据Topic的订阅而感兴趣
Topic通常是一个主题部分，因为物理上与磁盘上的多个文件夹对应的多个部分只属于一个主题，所以可以增加整个群集的处理量
2)领导者和追随者
一个章节会有多个副本：领导者提供外部服务；这些外部服务可与客户端应用程序进行交互；观众只是被动地同步，不能与外界互动
当然，您可能知道MySQL在许多其他系统上提供了外部服务，这些系统可以从库中进行读取；但卡夫卡的续集只负责新闻同步化
有趣的是，主从关系不再被用来表达这种主从关系。最终，奴隶意味着奴隶在美国是一个禁止种族主义的国家有一个政治上的错误，所以大部分的系统变成了领导者的追随者
卡夫卡式多拷贝机
卡夫卡通过多种复制机制将相同信息存储在同一章节的不同副本中，在代理无效时，失败的传输机制可以保证服务的可用性
如以下所示，卡夫卡式集有四个代理，一个具有三个章节，如果将「复本系数」设定为3，则每个章节都有一个引线和两个观众复本
0次
不同的副本代理厂商和消费者只会收到相容的Leader互动的副本，而后续的副本只有在负责同步新闻的Leader副本失败时，才会收到新的Leader副本
让我们来看卡夫卡的多重复制理论中的一些重要术语
AR(已分配的复制副本):创建一个部分的所有副本，也称为ar(in-sync Replicator):创建该部分的特定同步副本，并创建该部分的所有观众(包括该部分的所有观众)的副本
然后我们就可以明确这种关系:AR = ISR
Leader命令可维护和监控ISR集合中的所有观众；如果观众太晚或太晚领导者会从ISR中心接他
除非在OSR集合中找到同步范围的领导者，否则Leader也将从OSR中心接收ISR集合
在一般情况下，当Leader命令发生故障或失败时，只有在ISR集合中的侦听器被选中为新的领导者，并且在OSR集合中的侦听器具有可更改的参数de2
原始连接:https://www . cn blog . com/data dancing/p/16991 . html UTM _ source = tui cool & UTM _ medium = reference r
