当前位置: 首页 > news >正文

网站建设与管理课程免费网页在线客服系统代码

网站建设与管理课程,免费网页在线客服系统代码,注册深圳公司条件,什么做自己的网站Kafka 位移主题位移格式创建位移提交位移删除位移Kafka 的内部主题 (Internal Topic) : __consumer_offsets (位移主题,Offsets Topic) 老 Consumer 会将位移消息提交到 ZK 中保存 当 Consumer 重启后,能自动从 ZK 中读取位移数据,继续消费…

Kafka 位移主题

  • 位移格式
  • 创建位移
  • 提交位移
  • 删除位移

Kafka 的内部主题 (Internal Topic) : __consumer_offsets (位移主题,Offsets Topic)

老 Consumer 会将位移消息提交到 ZK 中保存

  • 当 Consumer 重启后,能自动从 ZK 中读取位移数据,继续消费上次位置
  • Broker 不用保存位移数据,减少 Broker 开销
  • 但 ZK 不适合大量写操作

新 Consumer 推出了位移管理机制 :

  • 将 Consumer 的位移数据提交到 __consumer_offsets
  • __consumer_offsets 作用 : 保存 Kafka 消费者的位移信息

位移格式

__consumer_offsets 的消息格式是 Kafka 自定义

  • 不要随意向该主题写消息,可能会造成 Broker 挂
  • Consumer API 会自动向位移主题写消息

位移主题的 3 种消息格式 :

  • Key/Value 分别为消息键/消息体
  • 保存 Consumer Group 信息的消息 : 用来注册 Consumer Group
  • 删除 Group 过期位移 , 删除 Group 的消息

Key/Value 结构 :

  • Key 的 3 部分:<Group ID, 主题名, 分区号>
  • Value 有:时间戳 , 用户自定义的数据 , 位移值

删除 Group 消息 :

  • tombstone 消息 (墓碑消息 , delete mark) :特点 : 空消息体 , 消息体是 null
  • 当某个 Group 下的所有 Consumer 都停止,且位移数据都已被删除 (彻底删除该 Group) :Kafka 会向位移主题的对应分区写入 tombstone 消息

创建位移

位移主题自动创建 :

  • 当 Kafka 的第一个 Consumer 启动时,Kafka 会自动创建位移主题
  • 位移主题的分区数 : offsets.topic.num.partitions,默认值 : 50
  • 副本数 : offsets.topic.replication.factor , 默认值 : 3

Kafka 日志路径下会有很多 __consumer_offsets-xxx 的目录

  • Kafka 创建的位移主题

手动创建位移主题 :不建议 (bug 代码有硬编码 50 )

提交位移

Consumer 提交位移方式:

  • 自动提交位移
  • 手动提交位移

自动提交位移 :

  • Consumer 在后台定期提交位移
  • 自动提交 :enable.auto.commit=true
  • 提交间隔 : auto.commit.interval.ms
  • 优点 : 不用管位移提交,就能保证消息消费不会丢失
  • 缺点 : 没法把控 Consumer 端的位移管理 ; 只要 Consumer 启动 , 就会不断向位移主题写入消息

与 Kafka 集成的框架都禁用手动提交位移

  • enable.auto.commit = false
  • Consumer 用 consumer.commitSync ,向位移主题写入相应的消息

自动提交位移的问题例子 :

  • Consumer 消费到某个主题的最新一条消息 (位移 : 100)
  • 之后该主题没有新消息产生,所以 Consumer 无消息可消费,则位移一直是 100
  • 而自动提交位移,向位移主题中不断写位移 =100

删除位移

Compaction : Kafka 删除位移主题的过期消息

Kafka 用后台线程 (Log Cleaner) 定期检查 Compact 的主题,判断是否有可删除数据

  • 当位移主题占用过多磁盘时,建议检查 Log Cleaner 线程的状态

Compact 过期策略 :

  • 同个 Key 的两条消息 M1 和 M2,当 M1 发送时间早于 M2,那 M1 为过期消息

Compact 过程 :

  • 扫描日志的所有消息,剔除那些过期的消息,把剩下的消息整理在一起
  • 位移为 0、2 和 3 的消息的 Key 都是 K1,Compact 后,只会保存位移为 3 的消息

在这里插入图片描述

http://www.dt0577.cn/news/17555.html

相关文章:

  • 一个公司可以做两个网站吗开发一个网站需要多少钱
  • 有专门做房孑特卖的网站吗如何进行百度推广
  • 山西省网站建设价格成人电脑基础培训班
  • 独立站域名广告投放数据分析
  • app和网站开发推广优化
  • 保障房建设网站首页磁力天堂最佳搜索引擎入口
  • 域名申请后没有做网站近期国内外重大新闻10条
  • wordpress固定链接 404 nginx外贸谷歌优化
  • 网站空间查询seo关键词挖掘工具
  • 官网建设公司搜索引擎优化的各种方法
  • 有机大米网站建设方案搜索引擎网站
  • 注册公司流程及步骤百度快照优化排名怎么做
  • 丢盖网logo设计免费官网深圳seo云哥
  • 门户网站建设中存在的问题百度投诉中心电话24个小时
  • 杭州做网站怎么收费多少成人教育培训机构排名
  • 机关网站建设制度重庆放心seo整站优化
  • 建筑公司网站页面图片太原百度推广开户
  • 山西太原做企业网站建设的公司推广赚钱的平台
  • 网站建设的网络技术百度推广优化是什么?
  • 网站开发员的工作内容qq推广引流网站
  • 网站策划书基本项目百度seo公司哪家好一点
  • 做网站42类商标怎么选小类淘宝seo搜索排名优化
  • 常州做网站价格怎么安装百度
  • wordpress 商店seo网络培训
  • 重庆seo网站排名优化平台推广是什么
  • 做多级分销的网站网页设计代码案例
  • 北京 网站设计 公司bt蚂蚁磁力
  • 手机微网站网站统计器
  • 个人网站怎么做推广seo网站课程
  • 三星做号网站免费seo网站自动推广软件