该地点的第一座城堡是一座简单的土筑莫特 - 包利（motte-and-bailey）式建筑，建于 12 世纪某个时期。至 13 世纪，托索沃尔德城堡（Torthorwald Castle）的所在地归大卫·托索沃尔德（David Torthorwald）所有。在第一次苏格兰独立战争期间，大卫爵士的部分后裔支持英军。作为惩罚，罗伯特·布鲁斯国王于 1306 年没收了该地产，并将其授予约翰·德·索尔斯爵士（Sir John de Soules），后者于 1310 年去世。汉弗莱·德·柯克帕特里克（Humphrey de Kirkpatrick）于 1326 年取得该地产，并开始建造石砌城堡，即后来的托索瓦尔城堡（Torthowarld Castle）。1425 年，威廉·卡莱尔（William Carlyle）娶了一位未具名的柯克帕特里克家族女继承人，托索沃尔德城堡的所有权随之转入卡莱尔家族。1544 年，迈克尔·卡莱尔勋爵（Michael Lord Carlyle）在针对其嫂子乔内特·斯克里姆杰（Jonet Scrimgeour）的突袭中攻占了该城堡，并一直保有该城堡直至 16 世纪末。1609 年，城堡所有权由其同父异母兄弟、来自帕克黑德道格拉斯家族（Douglases of Parkhead）获得。城堡最后一位居民是多诺克道格拉斯（Archibald Douglas of Dornock），他居住于此直至 1630 年。该城堡的屋顶于 18 世纪被拆除，不久之后托索沃尔德城堡便逐渐沦为废墟。下一个世纪曾有人试图稳定其结构，但遗憾的是，1993 年塔楼北端坍塌，如今它孤零零地矗立在村庄边缘，成为一片荒凉的古迹。