您的位置:首页 > 博客中心 > 互联网 >

数据积压

时间:2022-05-11 13:00

  • 数据积压指的是消费者因为一些外部的IO、一些比较耗时的操作(full GC--stop the world),就会造成消息在partition中一直存在得不到消费,就会产生数据积压。
  • 所以需要监控系统(kafka的监控系统Eagle),如果出现这种情况,需要尽快处理,虽然后续的spark streaming/flink可以实现背压机制,但是数据累积太多一定对实时系统的实时性有影响的。
  • 日常比较常见的积压场景是:数据写入到MySQL失败,导致消费者分区的offset一直没被提交,导致积压;还有比较常见的就是网络延迟导致消费失败,由于网络抖动,产生消费超时失败。

本类排行

今日推荐

热门手游