为何你的监控会遗漏最愚蠢的故障 笔记

为何你的监控会遗漏最愚蠢的故障

内部子域上的 TLS 证书过期导致了一次静默故障,且未触发任何告警。这是因为监控仅关注应用错误,而忽视了具有时效性的基础设施组件。三个域级别的故障可能导致无应用日志记录的宕机:TLS 证书过期、域名注册过期以及 DNS 配置错误。TLS 证书过期后会失效,导致浏览器显示安全警告,API 拒绝连接。域名注册过期意味着域名本身失效,导致 DNS 解析完全失败。DNS 配置错误可能导致记录未能正确传播,或返回旧的 IP 地址。使用 digopenssl s_client 等 Bash 命令可以检查 DNS 解析和 TLS 证书有效期。openssl 命令可显示证书的过期日期,进一步命令可计算剩余有效期限。whois 查询可提供域名注册信息,包括过期日期和状态码。为防止此类故障,应通过 cron 作业或 Prometheus 等监控工具实现自动化检查。域名注册应理想情况下启用自动续期作为首要保障措施。手动执行这些检查适用于临时验证,但自动化对于持续可靠性至关重要。此类故障尤为令人尴尬,因为它们源于简单的疏忽,而非复杂的技术故障。