Pinterest разрабатывает Moka, платформу обработки данных нового поколения, чтобы заменить свою устаревшую систему на основе Hadoop. Эта платформа развернута в AWS Elastic Kubernetes Service (EKS) в четырех средах: тестовой, dev, staging и production. Terraform, дополненный пользовательскими модулями AWS и диаграммами Helm, управляет развертываниями кластеров EKS. Критическим компонентом Moka является ее инфраструктура логирования, которая использует Fluent Bit для сбора и экспорта логов из плоскостей управления EKS, приложений Spark и системных подов в Amazon S3. Fluent Bit настроен для группировки логов приложений Spark по уникальному идентификатору задания и для разбора логов YuniKorn для сводок использования ресурсов. Для наблюдаемости Pinterest использует фреймворк, совместимый с Prometheus, для сбора метрик. Они разработали пользовательский sidecar, kubemetricsexporter, для соединения своей существующей системы Statsboard на основе TSDB с метриками Prometheus. OpenTelemetry Collector используется для получения, обработки и экспорта данных телеметрии, с конкретным конвейером, настроенным для метрик Prometheus. Эта надежная инфраструктура направлена на обеспечение эффективной и надежной обработки данных в огромном масштабе для Pinterest.