Er wordt beweerd dat een van de Ter Leedes, Heer Pelgrim van der Leede, na de verwoesting van dit slot zijn zetel zou hebben verplaatst naar Leerdam, waar hij rond 1270 het kasteel van Leerdam liet bouwen. Maar het is bekend dat in 1306 het Slot van Ter Leede nog bestond. Er is dus voor Heer Pelgrim een andere reden geweest om naar Leerdam te trekken. Wanneer het slot precies verwoest of gesloopt is, is niet bekend, maar volgens de Tegenwoordige Staat was het in het midden van de achttiende eeuw niet meer aanwezig.
Kasteel Ter Leede lag waarschijnlijk aan het riviertje de Lee, die, stromend langs de weg naar Leerdam, bij die plaats in de Linge uitmondde. Destijds heette het gebied het Recht van ter Leede, een naam die ook is overgegaan op het dijkje dat van Leerdam naar Leerbroek voert. Deze naam wordt vaak verbasterd tot Treffelede. De polders links en rechts naast de weg heten nu resp. Bruinsdel en Hoog-Leerbroek.
Leerdam een stadje gelegen aan de rivier de Linge. Het mooiste beeld van Leerdam heeft u vanaf de lingebrug, Het eeuwenoude Hofje van Mevrouw van Aerden bepaalt samen met kerktoren het contour tegen de horizon. Maak eens een wandeling over de fraai gerestaureerde stadswallen, en geniet van het uitzicht over de Linge.
Heeft tijd genoeg? , bezichtig dan eens het Hofje of de fraaie kerk. Of kijk eens rond in de vele leuke winkels.
Maar Leerdam heeft nog meer te bieden. Aan de "loswal" naast de Lingebrug ligt de rondvaartboot afgemeerd, hier kunt u een mooie rondvaart boeken over de Linge. En zo de natuur eens van de waterkant bewonderen.
Juist voorbij een scherpe bocht in deze weg kan rechts van de weg een met bomen beplant gebied worden waargenomen.
Dit is de plaats, waar in vroeger dagen, en nu nog herkenbaar in het terrein, het kasteel van Ter Leede heeft gestaan.
De Ter Leedes waren edellieden, waaruit het bekende geslacht van de Van Arkels is ontsproten.
De Van Arkels hebben hun naam aan dit gebied gegeven, want Leerdam ligt met enkele andere steden en dorpen in het Land van Arkel.