且构网

分享程序员开发的那些事...
且构网 - 分享程序员编程开发的那些事

在Kubernetes上持续部署有状态Apache Flink应用

更新时间:2023-01-11 11:23:45

  • 您可能会更喜欢Ververica Platform: Community Edition,它将抽象级别提高到您不必在此级别处理细节的程度。它有一个在设计时考虑到CI/CD的API。
  • 我不确定我是否理解您的第二点,但是您的作业在恢复过程中会倒带和重新处理一些数据是正常的。Flink并不保证只处理一次,而是保证只处理一次:每个事件将只影响Flink管理的状态一次。这是通过回滚到最近检查点中的偏移量,并将所有其他状态回滚到使用这些偏移量之前的所有数据来实现的。
  • 有一个状态后端是必要的,因为它可以在作业运行时存储作业的工作状态。如果不启用检查点,则工作状态将不会被检查点,并且无法恢复。但是,从Flink 1.11开始,您可以使用
  • 通过配置文件启用检查点
execution.checkpointing.interval: 60000
execution.checkpointing.externalized-checkpoint-retention: RETAIN_ON_CANCELLATION