Я усвоил этот урок на собственном горьком опыте.У нас был критически важный конвейер данных, который работал более 3 часов каждый день. Логика была безупречно чистой. Общая схема была явно правильной. Абсолютно никаких очевидных утечек памяти не было, и в сырых преобразованиях PySpark не было ничего, что выглядело бы фундаментально неправильным.