DZone.com Feed 日本語
フォロー
ETL、ELT、EtLTからAgentへ:エンタープライズデータエンジニアリングで何が変わるのか?
過去20年間、ほとんどのエンタープライズデータエンジニアリングシステムは、一つのデフォルトの仮定に基づいて構築されてきました。それは「人々はシステムを理解している」ということです。システムはパイプラインを実行します。エンジニアはビジネスコンテキストを理解し、要件をステップに分解し、SQL、Sparkジョブ、シェルスクリプト、同期タスク、スケジューリングワークフローを記述し、その後システムにそれらを実行させます。スケジューラはビジネスを理解する必要はありません。同期エンジンはメトリックを理解する必要はありません。それは、事前に定義されたフローを確実に実行するだけで良いのです。