流程

故障演練建立了一套標準的演練流程，包含準備階段、執行階段、檢查階段和恢復階段。通過四階段的流程，覆蓋用戶從計劃到還原的完整演練過程，并通過可視化的方式清晰的呈現給用戶。

適用場景

故障演練可適用于以下典型場景：

• 衡量微服務的容錯能力

  通過模擬調用延遲、服務不可用、機器資源滿載等，查看發生故障的節點或實例是否被自動隔離、下線，流量調度是否正確，預案是否有效，同時觀察系統整體的QPS或RT是否受影響。在此基礎上可以緩慢增加故障節點范圍，驗證上游服務限流降級、熔斷等是否有效。最終故障節點增加到請求服務超時，估算系統容錯紅線，衡量系統容錯能力。

• 驗證容器編排配置是否合理

  通過模擬殺服務Pod、殺節點、增大Pod資源負載，觀察系統服務可用性，驗證副本配置、資源限制配置以及Pod下部署的容器是否合理。

• 測試PaaS層是否健壯

  通過模擬上層資源負載，驗證調度系統的有效性；模擬依賴的分布式存儲不可用，驗證系統的容錯能力；模擬調度節點不可用，測試調度任務是否自動遷移到可用節點；模擬主備節點故障，測試主備切換是否正常。

• 驗證監控告警的時效性

  通過對系統注入故障，驗證監控指標是否準確，監控維度是否完善，告警閾值是否合理，告警是否快速，告警接收人是否正確，通知渠道是否可用等，提升監控告警的準確性和時效性。

• 定位與解決問題的應急能力

  通過故障突襲，隨機對系統注入故障，考察相關人員對問題的應急能力，以及問題上報、處理流程是否合理，達到以戰養戰，鍛煉定位與解決問題的能力。

故障演練與AHAS服務體系

故障演練作為AHAS的一部分，與AHAS其他功能組成了一套完善的高可用保障服務，可以幫助用戶實現包括架構、業務、人員的全面高可用提升。故障演練在其中承擔著問題發現、問題驗證、高可用經驗沉淀的作用。