S pomočjo okoličanov so Pliberčani zgradili okoli svojih lesenih hiš več kot meter debel zid. Pred njim pa so skopali več metrov globok jarek in vanj napeljali vodo Bistriškega potoka in drago, ki izvira za gradom.
V mesto je vodilo dvoje vrat, in sicer Velikovška na zahodu in Guštanjska na vzhodu. Pozneje so naredili še grajska vrata, skozi katera so v mesto vstopali grofje in gorjanci. Tako utrjeno mesto in grad Pliberk sta kljubovala tudi napadom Turkov, ki so v bližino Pliberka vdrli v letih 1473, 1476 in 1478.
Na konjih jahajoči roparji si niso vzeli časa, da bi mesto oblegali; rajši so se mu izognili in plenili okoliške vasi ter delazmožne ljudi in mladino odvedli v sužnost.
Kronist Jakob Unrest piše, da so mimo Pliberka gnali na Turško osem tisoč ujetnikov. Na te grozne čase je spominjala slika Turka na stari občinski hiši. Upodobljen je bil v naravni velikosti v pisani turški obleki in s turbanom na glavi, gledajoč skozi zamreženo okno. Morda so imeli Pliberčani res ujetega kakega Turka in so ta dogodek ovekovečili na sliki.
Fresko Turka so pri podiranju stare občinske hiše leta 1962 uničili.