Pytorch图像去噪实战(八十):降级策略与熔断保护,保证高峰期服务不被大图请求拖垮
Pytorch图像去噪实战(八十):降级策略与熔断保护,保证高峰期服务不被大图请求拖垮一、问题场景:高峰期几个大图请求,把整个服务拖慢图像去噪服务在高峰期最怕两类请求:超大图片高质量模型请求它们会占用大量 CPU/GPU 时间,导致普通小图请求也变慢。这时如果没有保护机制,会出现:队列堆积P95耗时暴涨GPU显存接近满Nginx超时用户大量失败服务整体雪崩这一篇我们实现:降级策略与熔断保护,让系统在压力大时优先保证核心服务可用。二、什么是降级?降级就是在系统压力大时,降低部分服务能力。例如:高质量模型 - 轻量模型 同步大图 - 异步任务 超大图 - 拒绝处理 结果PNG - 压缩JPEG目标不是让所有请求都完美,而是:保证服务整体不崩。三、什么是熔断?熔断是指当某个功能持续
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2609748.html
如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!