Начиналась эта история в конце 14-го века, когда главы Ливонского Ордена озаботились мыслями о постройке новой цитадели, которая сохраняла бы покой солдат и мирных граждан в неспокойные времена. Место было выбрано почти сразу – небольшой мыс между Большим и Малым озёрами Лудзы. И вот спустя короткое время селяне уже могли лицезреть самый великолепный замок из когда-либо построенных в Латгале.
Тогда это было трёхэтажное здание с шестью башнями и тремя воротами. В 1481 году оно подверглось российскому вторжению, и было восстановлено только к 1525 году. Но и это не спасло несчастную постройку – в 1654 году войско царя Алексея подорвало замок и привело в состояние полной негодности. К нашему времени сохранились только две стены одной из внутренних башен и одна наружняя стена. Всеё остальное лежит в живописных обломках.
На данный момент эти развалины можно назвать символом Лудзы как города и добавить, что они являются одним из самых любимых туристических мест.