AWS Glue を使用すると、PySpark パイプラインを迅速に実行できます。ロジックが拡大するにつれて保守性を維持し、大規模で確実にパフォーマンスを発揮し、時間の経過とともに運用上の負債を静かに蓄積しないパイプラインを構築することは、著しく困難です。ほとんどの Glue パイプラインはシンプルに始まり、徐々に管理が難しくなります。数式がハードコーディングされ、モジュールが無境界に成長し、出力ファイルが急増し、やがて単一のジョブがテストが困難で、デバッグが困難で、変更が高価な方法で多くのことを行うようになります。