Airflow、Presto、およびメタデータ・コントラクトを使用した ETL パイプラインの安定化

水曜日。10:04 AM。 ダッシュボードによると、コンバージョンが18%減少したということだ。プロダクトチームはパニック状態、マーケティングチームは無言のスラックで君を攻撃している。しかし、何も失敗していない―Airflowは緑色、Hiveのテーブルは更新中、パイプラインのログは綺麗に綴られている。那は君に打ち震える思いが襲ってきた：これは失敗じゃない。これはもっと悪いものだ。これはサイレント・データ・ドリフトである。