Google Cloudは、Google Cloud NEXT ’26で発表された新しいOrchestration Pipelinesフレームワークにより、データパイプラインのオーケストレーションを民主化しています。このフレームワークは、データエンジニアリングツールの無料のオープンソースコレクションであるData Agent Kitを通じて利用可能になります。このキットは、一般的なIDEやCLIに統合され、Data EngineeringタブとAirflow DAG用のエージェントスキルを提供します。これにより、データ専門家は自然言語を使用して、本番環境レベルのAirflow DAGを作成、デプロイ、トラブルシューティングできます。このフレームワークは、宣言型のYAML DSLを使用して、オーケストレーションロジックとコンピューティング実行を分離することでMLOpsを合理化します。これにより、すべてのデータペルソナは、複雑なPython Airflowの定型コードを回避できます。実践的な例では、プロアクティブなサプライチェーン管理のためのMLOpsアーキテクチャの構築が実証されています。このアーキテクチャは、BigQuery、Managed Service for Apache Spark、Gemini Enterprise Agent Platform、およびdbtを使用して輸送時間を予測します。Data Agent Kitは、自然言語プロンプトからPySparkスクリプトと宣言型のYAMLパイプラインを生成します。トレーニングエンジン、毎日の推論パイプライン、および自動評価と分岐パイプラインの3つの異なるパイプラインが実証されています。デプロイはCI/CDを通じて自動化され、Data Agent Kitが必要なワークフローを生成します。Day-two運用では、キットはIDE内でリアルタイム監視とエージェントによるトラブルシューティングを提供します。障害を診断し、根本原因を特定し、問題に対するインライン修正を提案します。Orchestration PipelinesとData Agent Kitは、MLOpsアーキテクチャの構築と保守にかかる時間と複雑さを大幅に削減します。