AWS Glue를 사용하면 PySpark 파이프라인을 신속하게 실행할 수 있습니다. 하지만 로직이 커짐에 따라 유지보수하기 쉽고, 대규모에서 안정적으로 성능을 발휘하며, 시간이 지남에 따라 운영 부채가 조용히 쌓이지 않는 파이프라인을 구축하는 것은 훨씬 더 어렵습니다.대부분의 Glue 파이프라인은 간단하게 시작하여 점차 관리하기 어려워집니다. 수