Docker overlay2磁盘空间占用异常排查指南问题背景与现象描述最近在排查服务器磁盘空间告警时发现一个奇怪现象/var/lib/docker/overlay2目录占用了90%以上的磁盘空间。这种情况在长期运行的Docker环境中并不罕见但往往容易被忽视直到系统发出磁盘空间不足的警告才引起注意。典型症状包括df -h显示/var分区接近满载du -sh /var/lib/docker/overlay2显示该目录占用异常高即使删除无用镜像和容器后空间释放效果不明显1. 基础空间清理1.1 检查并清理无用容器和镜像首先执行基础检查确认是否存在可以清理的闲置资源# 查看所有容器包括已停止的 docker ps -a # 查看所有镜像 docker images # 查看Docker磁盘使用概况 docker system df清理建议删除不再需要的停止状态容器docker rm 容器ID删除无用镜像docker rmi 镜像ID批量清理谨慎使用docker system prune注意docker system prune -a会删除所有未被容器使用的镜像包括可能有用的缓存镜像。1.2 清理容器日志长期运行的容器会产生大量日志文件主要位于/var/lib/docker/containers/容器ID/容器ID-json.log日志清理脚本#!/bin/bash echo 开始清理Docker容器日志 logs$(find /var/lib/docker/containers -name *-json.log) for log in $logs; do echo 清理日志: $log cat /dev/null $log done echo 日志清理完成 可将此脚本保存为clean_docker_logs.sh并定期执行。2. 高级问题排查2.1 检查overlay2目录结构深入分析overlay2目录占用情况# 查看overlay2各子目录大小 du -h --max-depth1 /var/lib/docker/overlay2 | sort -h # 查看最大的10个文件 find /var/lib/docker/overlay2 -type f -exec du -h {} | sort -rh | head -n 10常见异常情况单个容器对应的目录异常大存在大量未清理的diff目录存在超大日志或临时文件2.2 检查容器存储泄漏某些应用程序可能在容器内产生大量数据却不自知特别是未配置日志轮转的应用持续写入临时文件的程序缓存未正确清理的服务排查方法# 进入容器检查文件系统使用情况 docker exec -it 容器名 df -h # 检查容器内各目录大小 docker exec -it 容器名 du -h --max-depth1 / | sort -h3. 系统级优化方案3.1 配置Docker日志驱动修改/etc/docker/daemon.json限制日志大小{ log-driver: json-file, log-opts: { max-size: 10m, max-file: 3 } }修改后需重启Docker服务systemctl restart docker3.2 使用存储驱动选项对于overlay2驱动可考虑添加以下配置{ storage-driver: overlay2, storage-opts: [ overlay2.override_kernel_checktrue, overlay2.size20G ] }4. 长期维护策略4.1 监控与告警设置建议配置以下监控项监控指标告警阈值检查频率/var分区使用率80%每小时overlay2目录大小50G每天容器日志大小100M每天4.2 自动化清理方案创建定期维护任务crontab# 每周日凌晨3点执行清理 0 3 * * 0 /usr/bin/docker system prune -f 0 4 * * 0 /path/to/clean_docker_logs.sh实战案例分享某次排查中发现一个运行了8个月的Elasticsearch容器虽然业务已经不再使用但仍在后台运行。该容器产生了大量未管理的索引数据导致overlay2目录占用了超过900G空间。删除该容器后立即释放了相应空间。经验总结定期审计运行中的容器为生产容器设置资源限制重要数据应使用volume而非存储在容器内部