Быстрее доставляя аналитику в ... Заметка

Быстрее доставляя аналитику в Pinterest

Pinterest перенес свои данные аналитики в реальном времени в StarRocks, чтобы удовлетворять растущим масштабам и требованиям. StarRocks предлагает поддержку стандартного SQL, соединений и родного инжектирования, устраняя внешние зависимости. Перенос в StarRocks привел к уменьшению p90 latency на 50% и троекратному увеличению эффективности затрат. Процесс инжектирования данных стал более упорядоченным, обеспечив свежесть данных в течение всего 10 секунд. Совместимость StarRocks с MySQL упростила интеграцию с существующими инструментами. Среди проблем Partner Insights, инструмента для аналитики в реальном времени для рекламодателей, есть высокий объем и сложные запросы. Внутренняя архитектура Partner Insights, использующая StarRocks, включает в себя frontend и backend-узлы, а также Archmage, сервис Pinterest, упрощающий развертывание и работу. Archmage использует пул соединений, чтобы минимизировать время установки JDBC-соединения. В будущем планируются оптимизации, включая использование кэша запросов и материализованных представлений, чтобы еще больше улучшить производительность. Pinterest изучает возможности сотрудничества с сообществом StarRocks, чтобы способствовать росту и развитию проекта.