Flink快照保留多久、多少个,设置参数
Flink 快照Checkpoint保留数量、保留时间全套参数 配置我给你最完整、最准确、面试 生产都能用的版本直接复制即可。一、核心结论先记这 3 个参数Flink 控制快照保留多少个、保留多久就靠这 3 个配置保留最近多少个 CheckpointCheckpoint 保留时间超时时间取消任务时是否删除快照二、具体参数代码版 yaml 版1.保留最近 N 个 Checkpoint最常用默认只保留 1 个生产建议保留 23 个代码设置java运行// 保留最近 3 个 Checkpoint checkpointConfig.setMaxNumberOfRetainedCheckpoints(3);yaml 设置yamlexecution.checkpointing.num-retained: 32.Checkpoint 保留时长超时时间超过这个时间没用自动删除。代码设置java运行// 保留 24 小时单位毫秒 checkpointConfig.setCheckpointRetention(24 * 60 * 60 * 1000);yamlyamlexecution.checkpointing.timeout: 36000003.任务取消 / 失败时是否保留 Checkpoint代码java运行// 取消任务时保留 Checkpoint生产必开 config.setExternalizedCheckpointCleanup( CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION );yamlyamlexecution.checkpointing.externalized-checkpoint-retention: RETAIN_ON_CANCELLATION三、完整生产推荐配置直接用yaml 完整版yaml# 每 30s 做一次 CK execution.checkpointing.interval: 30000 # 最多同时进行 1 个 CK execution.checkpointing.max-concurrent-checkpoints: 1 # 保留最近 3 个快照 execution.checkpointing.num-retained: 3 # 取消任务时保留 CK execution.checkpointing.externalized-checkpoint-retention: RETAIN_ON_CANCELLATION # CK 超时时间 10 分钟 execution.checkpointing.timeout: 600000代码完整版java运行StreamExecutionEnvironment env StreamExecutionEnvironment.getExecutionEnvironment(); // 30s 一次 CK env.enableCheckpointing(30000); CheckpointConfig config env.getCheckpointConfig(); // 最多保留 3 个 config.setMaxNumberOfRetainedCheckpoints(3); // 取消任务保留 config.setExternalizedCheckpointCleanup(RETAIN_ON_CANCELLATION); // 异步快照 config.setAsyncSnapshot(true);四、最关键的规则面试必问保留数量优先超过num-retained:3→自动删除最旧的保留时间次之超过保留时间 → 自动删除取消任务是否保留RETAIN_ON_CANCELLATION保留DELETE_ON_CANCELLATION删除五、一句话背诵版面试满分Flink 通过execution.checkpointing.num-retained设置保留最近多少个 Checkpoint通过timeout设置保留时长通过externalized-checkpoint-retention控制取消任务时是否保留默认只保留 1 个生产建议保留 2-3 个防止快照损坏无法恢复。
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2570573.html
如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!