K3s证书过期急救指南5分钟搞定证书轮换附一键脚本凌晨三点报警短信突然炸响——K3s集群所有服务不可用。登录控制台看到满屏的x509: certificate has expired or is not yet valid报错时我才意识到证书过期这个定时炸弹终于爆了。作为轻量级Kubernetes发行版K3s默认的1年证书有效期对生产环境来说就像个隐藏陷阱本文将分享一套经过实战检验的急救方案包含可直接复用的自动化脚本。1. 紧急恢复五分钟恢复服务当证书过期导致API Server不可访问时按以下步骤快速恢复# 在任意控制节点执行跳过证书验证 k3s kubectl --insecure-skip-tls-verifytrue \ delete secret k3s-serving -n kube-system # 所有节点执行清理并重启 sudo rm -rf /var/lib/rancher/k3s/server/tls/dynamic-cert.json sudo systemctl restart k3s关键细节说明--insecure-skip-tls-verify是救命参数允许在证书失效时仍能操作集群动态证书文件位置固定为/var/lib/rancher/k3s/server/tls/dynamic-cert.json重启后会自动生成有效期1年的新证书注意此方法会引发约30秒的服务中断建议在维护窗口期操作。若使用Ingress控制器可能需额外重启相关Pod。2. 深度修复自定义证书有效期临时修复只是权宜之计用根证书签发长期有效证书才是治本之策。以下是操作对比方案有效期操作复杂度是否需要重启适用场景紧急恢复方案1年简单需要故障应急根证书签发方案自定义中等不需要长期解决方案外部CA签发方案自定义复杂不需要企业级合规要求根证书签发操作流程定位根证书默认位置/var/lib/rancher/k3s/server/tls/server-ca.key /var/lib/rancher/k3s/server/tls/server-ca.crt使用自动化脚本生成新证书10年有效期示例./k3s-cert-rotate.sh \ --ssl-domaink3s \ --ssl-trusted-domainkubernetes.default.svc.cluster.local \ --ssl-trusted-ip10.43.0.1,127.0.0.1 \ --ssl-date3650更新Secret无需重启kubectl -n kube-system patch secret k3s-serving \ -p {data:{tls.crt:$(base64 -w0 new.crt),tls.key:$(base64 -w0 new.key)}}3. 一键脚本全解析以下是完整版自动化脚本保存为k3s-cert-rotate.sh即可使用#!/bin/bash set -eo pipefail # 参数默认值 SSL_DOMAIN${SSL_DOMAIN:-k3s} SSL_DATE${SSL_DATE:-3650} SSL_SIZE${SSL_SIZE:-2048} CA_KEY${CA_KEY:-/var/lib/rancher/k3s/server/tls/server-ca.key} CA_CRT${CA_CRT:-/var/lib/rancher/k3s/server/tls/server-ca.crt} # 生成OpenSSL配置 cat openssl.cnf EOF [req] req_extensions v3_req distinguished_name dn [dn] [v3_req] basicConstraints CA:FALSE keyUsage digitalSignature, keyEncipherment extendedKeyUsage serverAuth EOF # 添加SAN配置 if [ -n $SSL_TRUSTED_IP ] || [ -n $SSL_TRUSTED_DOMAIN ]; then echo subjectAltName alt_names openssl.cnf echo [alt_names] openssl.cnf i1 for ip in ${SSL_TRUSTED_IP//,/ }; do echo IP.$i $ip openssl.cnf ((i)) done for dns in ${SSL_TRUSTED_DOMAIN//,/ }; do echo DNS.$i $dns openssl.cnf ((i)) done fi # 生成密钥和CSR openssl genrsa -out tls.key $SSL_SIZE openssl req -new -key tls.key -out tls.csr \ -subj /CN${SSL_DOMAIN} \ -config openssl.cnf # 用根证书签发 openssl x509 -req -in tls.csr \ -CA $CA_CRT -CAkey $CA_KEY -CAcreateserial \ -out tls.crt -days $SSL_DATE \ -extensions v3_req -extfile openssl.cnf echo 证书生成完成 echo - TLS私钥: tls.key echo - TLS证书: tls.crt典型报错处理x509: certificate signed by unknown authority检查server-ca.crt是否被意外修改确认所有节点使用相同的CA证书The connection to the server was refused检查k3s服务状态sudo systemctl status k3s查看日志定位问题journalctl -u k3s -n 1004. 长效预防措施监控方案配置# Prometheus监控规则示例 - alert: K3sCertificateExpiry expr: kube_certificates_expiration_seconds{jobapiserver} 86400 * 30 for: 5m labels: severity: critical annotations: summary: K3s证书即将过期 (instance {{ $labels.instance }}) description: 证书 {{ $labels.name }} 将在30天内过期证书生命周期管理建议每6个月检查证书有效期k3s kubectl get --raw /metrics | grep kube_certificates_expiration在CI/CD流水线中加入证书检查步骤重要环境配置双证书热切换机制把证书更新做成常规维护项后最近两年再没遇到过凌晨被报警吵醒的情况。那个一键脚本现在已经成为我们所有K3s集群的标配初始化组件。