この場所にあった最初の城は、12世紀のある時点で建てられた、単純な土塁のモット・アンド・ベイリー様式の建造物でした。トルソワルド城の敷地は、13世紀にはデイヴィッド・トルソワルドが所有していました。スコットランド独立戦争中に、サー・デイヴィッドの子孫の一部がイングランド軍を支援しました。罰として、ロバート・ブルース王は1306年にその土地を没収し、サー・ジョン・ド・スールズに与えましたが、彼は1310年に亡くなりました。ハンフリー・ド・カークパトリックは1326年にその土地を取得し、トルソワルド城となる石造りの城の建設を開始しました。1425年にウィリアム・カーライルがカークパトリック家の名無しの相続人と結婚し、トルソワルド城の所有権はカーライル家に移りました。1544年にマイケル・ロード・カーライルは、義理の姉妹であるジョネット・スクリムジョールに対する襲撃で城を略奪しました。彼は16世紀後半まで城を保持していました。1609年に城の所有権は、パークヘッドのダグラス家出身の彼の異母兄弟に移りました。城の最後の居住者は、1630年までそこに住んでいたアーチボルド・ダグラス・オブ・ドルノックでした。城の屋根は18世紀に取り壊され、その後まもなくトルソワルド城は荒廃しました。翌世紀にその構造を安定させるための努力がなされましたが、残念ながら1993年に塔の北端が崩壊し、現在では村の端に寂しい廃墟としてたたずんでいます。