Тонкая настройка автоматического масштабирования для ваших конвейеров потоковой передачи данных

Обработка потоков обеспечивает аналитику данных в реальном времени, используемую в таких приложениях, как обнаружение мошенничества и IoT. Dataflow предлагает возможность автоматического масштабирования для автоматической регулировки вычислительной мощности для потоковых заданий. Эти возможности включают в себя горизонтальное и вертикальное автоматическое масштабирование, а Streaming Engine обеспечивает более плавное масштабирование в ответ на изменения объема данных. Клиентам может потребоваться настроить параметры автоматического масштабирования, например, регулировку минимального и максимального количества работников во время работы. Для решения этой проблемы Dataflow представила обновления заданий в режиме реального времени для автоматического масштабирования, откалиброванного пользователем. Эта функция позволяет пользователям обновлять ограничения для работников во время работы без задержки обработки, гарантируя минимальную задержку. Она доступна через консоль Google Cloud или API обновления Dataflow. Yahoo успешно внедрила эту функцию, чтобы обновить свои потоковые конвейеры без нарушения соглашений об уровне обслуживания (SLA), снижая скачки задержки и оптимизируя затраты. Dataflow предлагает различные функции автоматического масштабирования, в том числе Streaming Engine и обновления заданий в режиме реального времени, что позволяет пользователям настроить автоматическое масштабирование в соответствии со своими конкретными требованиями. Автоматическое масштабирование имеет решающее значение для обеспечения минимальной задержки и оптимизации затрат. Dataflow обеспечивает всесторонние возможности автоматического масштабирования, чтобы упростить этот процесс. Для получения дополнительной информации и обновлений о будущих улучшениях обратитесь в отдел продаж Google Cloud.