ETL、ELT、EtLTからAgentへ:エンタープライズデ... ノート

ETL、ELT、EtLTからAgentへ:エンタープライズデータエンジニアリングで何が変わるのか?

過去20年間、ほとんどのエンタープライズデータエンジニアリングシステムは、一つのデフォルトの仮定に基づいて構築されてきました。それは「人々はシステムを理解している」ということです。システムはパイプラインを実行します。エンジニアはビジネスコンテキストを理解し、要件をステップに分解し、SQL、Sparkジョブ、シェルスクリプト、同期タスク、スケジューリングワークフローを記述し、その後システムにそれらを実行させます。スケジューラはビジネスを理解する必要はありません。同期エンジンはメトリックを理解する必要はありません。それは、事前に定義されたフローを確実に実行するだけで良いのです。