Инженерия хаоса, даже в домашней лаборатории, имеет решающее значение для выявления скрытых уязвимостей. Домашний кластер Kubernetes, несмотря на кажущуюся надежность на бумаге благодаря различным облачным инструментам, оказался хрупким под нагрузкой. Тестирование показало, что быстрое воссоздание подов в Kubernetes не распространяется на рабочие нагрузки с состоянием, а отказ баз данных занимает значительное время. Сетевые разделения приводили к распределенным взаимоблокировкам, поскольку узлы оставались в состоянии "Готов" достаточно долго, чтобы нарушить работу служб, но недостаточно долго для корректной миграции рабочих нагрузок. Отказ физического узла выявил чрезмерно долгие значения таймаутов по умолчанию в Kubernetes для bare metal, что привело к длительной недоступности служб. Нагрузка на управляющий узел продемонстрировала его уязвимость к одному "шумному" процессу, что привело к каскадным сбоям в критически важных службах. Наконец, сбои DNS одновременно парализовали весь кластер, подчеркнув его фундаментальную важность. Эти тесты эффективно выявили реальное среднее время восстановления кластера, что потребовало внесения необходимых корректировок в конфигурацию.