AWS Glue позволяет быстро запустить конвейер PySpark. Значительно сложнее создать такой, который остается поддерживаемым по мере роста логики, надежно работает в масштабе и не накапливает незаметно операционный долг со временем.Большинство конвейеров Glue начинаются просто и постепенно становятся трудными в управлении — формулы жестко кодируются, модули растут без границ, выходные файлы множатся, и вскоре одна задача делает слишком много вещей способами, которые трудно протестировать, трудно отладить и дорого изменить.