Безопасная выборка производственных данных в предпроизводственных средах с помощью Logstash

В хорошо спроектированной системе лучше всего разделить среды предпроизводства и производства, чтобы предотвратить проблемы в одной среде, которые могут повлиять на другую. Однако поддержание отдельных конечных сред может быть нецелесообразным для организаций с ограниченными ресурсами. Представляется решение, которое позволяет направлять случайный подмножество данных в кластер предпроизводства без нарушения потока данных в кластере производства. Это решение использует Logstash в сочетании с UDP и является лёгким и малорисковым альтернативой более сложным шаблонам. Решение включает в себя две трубы: общую трубу, которая генерирует данные и выбирает случайный подмножество из них, и трубу предпроизводства, которая получает выбранные данные. Общая труба использует фильтр Ruby для случайного выбора событий для включения в трубу предпроизводства. Выбранные события отправляются в трубу предпроизводства через UDP, что обеспечивает непрерывный поток данных в производстве. Труба предпроизводства добавляет поле к событиям, чтобы указать, что они были отправлены в кластер предпроизводства. Преимущества этого решения включают непрерывный поток данных в производстве, эффективность и упрощенную архитектуру. Этот подход снижает сложность, операционные риски и накладные расходы на производительность, связанные с управлением очередями.