Perast leži u podnožju brda sv.Ilije na jednom od najljepših, ali i strateški najvažnijih položaja Bokokotorskog zaliva. Peraštani su, sa svoje tvrdjave, ostrva sv.Djordje i utvrdjenja Gospe od Andjela vjekovima kontrolisali i čuvali strateški značajan tjesnac Verige, gdje je pomorski put za Kotor bio najugroženiji.

TVRDJAVA SV. KRIŽA podignuta je iznad grada, na lokalitetu „ Kasun „ na mjestu gdje je stajala najstarija crkvica sv.Križa, možda čak iz IX vijeka, po kojoj je tvrdjava dobila ime. Crkva je ranije mogla nositi drugi naziv jer se kult sv.križa u Perastu vezuje za čuvanje mletačke ratne zastave ( s križom i lavom sv.Marka ), pa cak i srednjevjekovne hrišćanske zastave ( tzv.krstaš-barjak). Tako je i Krstovdan bila slava svih starih peraških porodica.
Prema zapisima opštine Perast ( Libro verde X, 15 ), 1570. godine je podignuta neka tvrdjava iznad grada. Ima mišljenja da je velika pohara Perasta (1624.g.) bila povod za izgradnju tvrdjave sv.Križa (1628.g.), ali se najvjerovatnije radi o njenom proširenju i poboljšanju.
Budući da se Perast nalazio sa svih strana okružen turskom teritorijom, ozbiljan nedostatak bio mu je nepostojanje kontinualnog gradskog perimetra, čemu se bez uspjeha uporno težilo. Medjutim zbog visokih troškova sagradjena je samo manja tvrdjava „ za podici vjernim nasim Peraštanima jedno skloniste da sacuvaju zivot „.

U tvrdjavi je najčešće boravila malobrojna mletačka posada, kojom je zapovijedao kastelan, biran od peraške opštine, dok je platu primao od Venecije.Tvrdjava je važnu ulogu odigrala tokom turskog napada na Perast 15.maja 1654.
U doba Napoleonove vladavine Bokom, do 13.oktobra 1813.g. tvrdjava se koristila za smještaj francuske vojske. Od 1814-1895.g. koriste je austrijanci, a kada su je napustili odnijeli su topove i ostalu opremu. Postoje podaci da je 1911.g. potpuno napuštena.
Pored tvrdjave sv.Križa ovaj nedostatak ublažen je nizom manjih individualnih kula tzv.čardaka, koji su bili promišljeno postavljeni, tako da su formirali dobar sistem izukrštenih punktova unutar grada.  Najstarija kula ovog odbrambenog sistema je kula Markovića kasnije Martinovića podignuta početkom XVI vijeka uz samu morsku obalu na trgu sv.Nikole.
U XVI vijeku je sagradjena kula Viskovića, a u njenoj blizini se nalazi jedna od dvije kule Mazarovića. Najnovija peraska kula, deseta po redu, podignuta je 1656.g. poslije turskog napada 1654.godine
Pored navedenih, do danas je sacuvana i kula Matoševića, a nestale su: Zvečan, Krstićevića, Hercegovica, Burovica i Mare Krilove.

Kule su bile jednostavne, malih, priblizno kvadratnih osnova, zasvedene ili sa drvenim tavanicama. Imale su prizemlje sa sopstvenom bistjernom i dva sprata. Krov je po pravilu bio jednoslivni.
Cjelinu sa navedenim odbrambenim sistemom samog grada čine i utvrdjeni punktovi na ostrvu sv.Djordja i naročito, kompleks utvrdjenja uz crkvu Gospe od Andjela  na Verigama nasuprot Perastu.

Iznad današnje tvrdjave nalaze se ostaci rimskog puta koji je vodio iz Risna za Akruvijum (Kotor), pa je vjerovatno na tom mjestu postojala manja rimska tvrdava (castrum).  Na tom istom području podignuta je vjerovatno u IX veku i prva crkva Perasta, crkva sv. Krsta, koja se nalazila u dvoristu današnje tvrdjave. Prema sačuvanom komadu pletene ornamentike to je prva crkva Perasta, vjerovatno iz IX veka.