Как Netflix превращает 2 триллиона ежедневных событий в архитектурные решения (и как вы можете сделать то же самое)

"Netflix обрабатывает более 2 триллионов событий в день через Kafka и более 20 000 заданий Flink, что определяет архитектурные решения, начиная от версий Java и заканчивая выбором баз данных. Их платформа Data Mesh со Streaming SQL демократизировала обработку в реальном времени, что привело к созданию 1 200 процессоров SQL командами, не занимающимися инфраструктурой, за один год. Эта платформа обрабатывает 100 миллионов событий в секунду по более чем 5 000 трубопроводам. Каждое изменение продукта проходит тестирование А/Б, с 150 000-450 000 запросов в секунду и задержкой прогрева кэша менее миллисекунды. К 2025 году оптимизация экспериментов с помощью машинного обучения сократит продолжительность экспериментов на 40%. Для своего реального времени распределенного графа Netflix отказался от Neo4j из-за ограничений масштабирования и вместо этого выбрал KVDAL, построенный на Apache Cassandra, достигнув миллиардов узлов и ребер с высокой пропускной способностью и низкой задержкой. Это решение подчеркнуло важность абстрактного слоя, позволяющего легко заменять бэкенды хранилища. Их платформа экспериментов использует детерминированное распределение и последовательное тестирование для быстрой проверки изменений. Наблюдаемость, обрабатывающая 17 миллиардов метрик и 700 миллиардов трасс в день, является важным обратным связью для эволюции архитектуры и эффективности затрат. Netflix явно предупреждает против слепого копирования своей полной архитектуры, подчеркивая, что их система является результатом 15+ лет инкрементальной, обусловленной данными эволюции более чем 10 000 инженеров. Основной вывод заключается в том, чтобы принять дисциплину Netflix по принятию решений на основе данных и абстрактных слоев, а не не критически воспроизводить их конкретные инструменты или масштаб. Они советуют против "потоковой передачи всего", отметив, что пакетная обработка остается ценной, когда обработка в реальном времени не предлагает измеримой бизнес-ценности. Их архитектурные принципы отдают приоритет обратным связям данных, доступности для экспертов предметной области и измеренному инвестированию в инфраструктуру."