在服务器长期运行爬虫时常会遇到程序意外崩溃、断连退出、后台挂起失效等问题直接用 nohup 或 screen 管理不够规范、不够稳定。Supervisor 是 Linux 下轻量、可靠的进程守护工具专门用来托管爬虫、服务、脚本等后台程序实现自动重启、日志管理、统一管控。一、Supervisor 是什么Supervisor 是用 Python 开发的进程管理系统核心作用让程序在后台稳定运行程序崩溃自动重启集中管理启动、停止、重启、查看状态统一管理标准输出与错误日志非常适合爬虫、API 服务、定时任务等长期驻留进程。二、安装 Supervisor以 CentOS / Ubuntu 为例CentOS/RHELbash运行yum install -y epel-release yum install -y supervisorUbuntu/Debianbash运行apt update apt install -y supervisor安装完成后启动并设置开机自启bash运行systemctl start supervisord systemctl enable supervisord检查是否运行bash运行ps aux | grep supervisord三、编写爬虫脚本示例假设你的爬虫文件/home/spider/main.pypython运行import time import datetime while True: print(f[{datetime.datetime.now()}] 爬虫正在运行...) # 这里写你的爬取逻辑 time.sleep(10)确保爬虫能直接在命令行正常运行bash运行python3 /home/spider/main.py四、配置 Supervisor 托管爬虫Supervisor 配置目录通常为/etc/supervisord.d/新建配置文件建议以.ini结尾bash运行vim /etc/supervisord.d/spider.ini写入如下配置可直接复制修改路径使用ini[program:spider] commandpython3 /home/spider/main.py directory/home/spider userroot autostarttrue autorestarttrue startretries3 stdout_logfile/var/log/spider.log stderr_logfile/var/log/spider_err.log配置说明[program:spider]进程名称自定义command启动命令directory工作目录autostarttrue服务器开机自动启动autorestarttrue程序崩溃自动重启stdout_logfile正常日志stderr_logfile错误日志五、更新配置并管理爬虫重新加载配置bash运行supervisorctl reread supervisorctl update启动爬虫bash运行supervisorctl start spider查看状态bash运行supervisorctl status常用命令bash运行supervisorctl stop spider # 停止 supervisorctl restart spider # 重启 supervisorctl reload # 重载所有配置六、查看日志排查爬虫问题实时查看爬虫日志bash运行tail -f /var/log/spider.log查看错误日志bash运行tail -f /var/log/spider_err.log日志能帮你快速定位爬虫崩溃原因网络超时解析错误权限问题七、为什么推荐 Supervisor 托管爬虫稳定崩溃自动重启避免爬一半中断统一管理一台服务器可管理 N 个爬虫互不干扰日志规范方便排查线上问题轻量无依赖比 systemd 更简单、比 screen 更专业适合长期运行爬虫 7×24 小时稳定在线八、常见问题报错spider: ERROR (spawn error)检查 Python 路径是否正确检查日志文件权限手动执行 command 命令看是否能运行程序一直重启代码有异常看 stderr 日志爬虫执行完就退出不是死循环程序不适合托管修改代码后不生效必须restart进程bash运行supervisorctl restart spider总结服务器部署爬虫Supervisor 是标配进程守护方案。只要三步安装 → 写配置 → 启动托管就能让爬虫稳定、安全、自动运行彻底解决后台掉线、崩溃、无日志等问题。