1982年にミルトン・カレッジが最終的に閉校したとき、それはウィスコンシン州で最も古い高等教育機関であり、ウィスコンシン大学よりも4年早かった。同カレッジは、1844年に設立された当初、デュラック・アカデミーと呼ばれていた。メインホールとグッドリッチホール（元々の寮）は、それぞれ1855年と1857年に建てられ、現在も建っている。ミルトン・カレッジは、女性の受け入れにおいて時代を先取りしていた。設立当初から男女共学の教育機関であった。これに対し、ウィスコンシン大学は1863年まで女性を受け入れず、チャドボーン学長による男女共学への抵抗もあって、1870年代まで完全な男女共学の地位を与えなかった。ミルトン・カレッジの入学者は年々変動し、1960年代後半には800人を超えた。当時、さらに多くの寮、図書館、学生センター、運動施設を含む新しい建物が追加された。最終的にキャンパスには13棟の建物があった。これらの建物は、1棟を除いてすべて現存し、新しい用途に適応されている。メインホールは現在、メインホール保存協会によって所有・運営されており、図書館はミルトン公共図書館となっている。多くの小規模大学と同様に、ミルトン・カレッジは財政難により閉校し、その結果、認定を失った。大規模な寄付金に頼らず、授業料に大きく依存していたため、負債を抱え、1970年代から1980年代にかけて入学者が減少した際に最終的に閉校した。