flink-yarn提交任务,application无限次appattempt
一般大家都推荐配置yarn.resourcemanager.am.max-attempts、yarn.application-attempt-failures-validity-interval和yarn.application-attempts但是在yarn-site.xml里配置了却没生效哈哈不生效的原因是因为flink提交application 时候fink会通过反射给yarn传过去fink提供的这个参数默认值是10000也就是10s这个参数意思是applicationMaster在设置的值范围内失败会进行一次计数像无限次重试是因为作业从启动am到失败时间超过10s了所以就不会进行计数那么appempt值一直是0没超过预设的次数所以就一直重试了解决方案在启动任务时显式设置interval覆盖flink默认值在yarn-site.xml中配置没用-Dyarn.application-attempt-failures-validity-interval-1 -Dyarn.resourcemanager.am.max-attempts3 -Dyarn.application-attempts3
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2412579.html
如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!