Когда Милтонский колледж окончательно закрыл свои двери в 1982 году, он был старейшим высшим учебным заведением в Висконсине, опередив Висконсинский университет на четыре года. Колледж первоначально назывался Академией Дю Лак, когда был основан в 1844 году. Главный корпус и Гудрич-холл (первоначальное общежитие), построенные в 1855 и 1857 годах соответственно, до сих пор стоят.Милтонский колледж опередил свое время, принимая женщин. Он был совместным учебным заведением с самого начала. Для сравнения, Висконсинский университет не принимал женщин до 1863 года и не предоставлял им полного совместного статуса до 1870-х годов, отчасти благодаря сопротивлению совместному обучению со стороны президента Висконсинского университета Чедборна.Число студентов в Милтонском колледже колебалось на протяжении многих лет, достигнув более 800 к концу 1960-х годов. В то время были добавлены новые здания, включая больше общежитий, библиотеку, студенческий центр и спортивный комплекс. В общей сложности на территории кампуса было тринадцать зданий. Все, кроме одного из этих зданий, сохранились и были приспособлены к новым целям. Главный корпус теперь принадлежит и управляется Обществом сохранения Главного корпуса, а в библиотеке находится Публичная библиотека Милтона.Как и многие небольшие колледжи, Милтонский колледж закрылся из-за финансовых трудностей, которые привели к потере аккредитации. Сильно завися от платы за обучение и не имея крупного эндаумента, он накопил долги и в конечном итоге закрылся, когда число студентов сократилось в 1970-х и 1980-х годах.