RSS DZone.com
Seguir
Desarrollando una Plataforma Nacional de Análisis de Telemetría en Tiempo Real utilizando Google Cloud Platform y Apache Airflow
El autor trabajó en un proyecto a gran escala en TELUS, creando una plataforma de análisis de telemetría en tiempo real para más de 100,000 decodificadores (set-top boxes). El objetivo era mejorar la toma de decisiones operativas y la experiencia del cliente. La infraestructura de datos existente estaba obsoleta e ineficiente, obstaculizando el análisis de datos en tiempo real. El proyecto modernizó la infraestructura utilizando Google Cloud Platform (GCP). Apache Airflow y herramientas de Infraestructura como Código (IaC) fueron cruciales para esta modernización. El sistema anterior utilizaba pipelines de datos ineficientes y orientados a lotes (batch). Los diagnósticos en tiempo real eran imposibles con el sistema anterior. El proyecto superó desafíos significativos relacionados con las limitaciones de la infraestructura de datos. Se implementó con éxito una solución a prueba de futuro utilizando la nueva infraestructura. El resultado general fue una mejora significativa en las capacidades de procesamiento y análisis de datos.