Первый замок на этом месте представлял собой простое земляное укрепление типа мотт и бейли, построенное в XII веке.К XIII веку земли замка Торторвальд принадлежали Дэвиду Торторвальду.Во время Первой войны за независимость Шотландии некоторые потомки сэра Дэвида поддержали английскую армию. В наказание король Роберт Брюс конфисковал земли в 1306 году и передал их сэру Джону де Соулсу, который умер в 1310 году.Хамфри де Киркпатрик приобрел земли в 1326 году и начал строительство каменного замка, который впоследствии стал замком Торторвальд.В 1425 году Уильям Карлайл женился на безымянной наследнице Киркпатрик, и владение замком Торторвальд перешло к семье Карлайл.В 1544 году Майкл Лорд Карлайл разграбил замок во время набега на свою невестку, Джонет Скримджер. Он владел замком до конца XVI века.В 1609 году замок перешел во владение его сводного брата из семьи Дугласов из Паркхеда. Последним жителем замка был Арчибальд Дуглас из Дорнока, который жил там до 1630 года.Крыша замка была снята в XVIII веке, и вскоре после этого замок Торторвальд пришел в упадок. В следующем столетии были предприняты попытки стабилизировать его конструкцию, но, к сожалению, в 1993 году северная часть башни обрушилась, и теперь он представляет собой унылые руины на окраине деревни.