分散システムは、単一のユニットとして失敗することはめったにありません。より頻繁には、1つの依存関係が遅くなり、1つのシャードが利用できなくなり、1つのリージョンが容量を失い、または1つのプールが飽和する一方で、隣接するコンポーネントは正常な状態を維持します。エンジニアリングの課題は、単に可用性ではありません。それは、局所的な欠陥がシステム全体に及ぶイベントになるのを防ぐことです。GoogleのSREガイダンスでは、カスケード障害を、失われた容量が生き残った容量に負荷をシフトさせ、追加のコンポーネントが失敗するまで続く正のフィードバックとして説明しています。レジリエンス設計は、そのループを早期に、安価に、そして他の場所で有用な作業を維持するのに十分な狭い境界で断ち切る必要があります。