노동부 장관의 최고 보좌관들, 강제로 물러나다