この教訓は苦労して学びました。毎日3時間以上稼働するクリティカルなデータパイプラインがありました。ロジックは完全にクリーンでした。全体的なスキーマは明らかに正しかったです。メモリリークは全く見当たらず、生のPySpark変換に根本的に壊れているように見えるものは何もありませんでした。