How Istio helped us investigate failures on our microservices Shota Shirayama

Istio 在微服务故障排查中的应用

背景

随着微服务架构的普及，系统复杂性显著增加。开发团队因专注于服务开发，难以有效改进日志记录或架构。SRE 团队决定部署 Istio 以应对系统复杂性。

故障场景

某日，主服务（GraphQL）的节点发生故障，Pod 自动恢复后，其中一个端点仍无法响应。手动重启 ServiceA Pod 后，问题解决。

排查过程

1. 初步观察：主服务 Pod 所在节点故障，ServiceA Pod 重启后恢复正常。
2. 日志分析：Istio-Proxy 日志显示 503 状态码和上游连接终止，表明主服务长时间等待 ServiceA 响应。
3. 假设提出：
   • 节点故障导致 ServiceA 持久等待主服务响应。
   • 队列满导致 ServiceA 等待入队。
   • ServiceA 未返回响应。

诊断工具

由于生产环境难以复现故障，利用 Istio 的“故障注入”功能在测试环境模拟延迟，验证假设。

核心结论

• 可观测性提升：Istio-Proxy 日志帮助定位故障原因。
• 可测试性提升：故障注入功能简化了故障复现。