Mithilfe der Bewohner der Umgebung errichteten die Bleiburger rund um ihre Holzhäuser eine über einen Meter breite Mauer. Vor der Mauer gruben sie dann einen mehrere Meter tiefen Graben und ließen den Feistritzbach und den Grabenbach, der hinter dem Schloss entspringt, in diesen Stadtgraben fließen. In die Stadt führten zwei Tore, das Völkermarkter Tor im Westen und das Gutensteiner Tor im Osten. Später erbauten sie noch das Schlosstor, durch welches die Grafen und die Bergbewohner in die Stadt gelangten.
Die so befestigte Stadt und das Schloss trotzten auch den Türken, welche in den Jahren 1473,1476 und 1478 einfielen. Die türkischen berittenen Räuber nahmen sich nicht die Zeit, die Stadt zu belagern. Sie wichen der befestigten Stadt aus und plünderten lieber die Dörfer der Umgebung, von wo sie die arbeitsfähige Bevölkerung und die Jugend in die Sklaverei führten. Der Chronist Jakob Unrest berichtet, dass sie 8000 Gefangene an Bleiburg vorbei in die türkische Gefangenschaft führten. An diese fürchterliche Zeit erinnerte das Türkenbild auf der Fassade des alten Gemeindeamtes. Der Türke war in Naturgröße, in der bunten Türkenkleidung und dem türkischen Turban auf dem Kopf gezeichnet, wie er durch ein Gitterfenster schaut. Vielleicht hatten die Bleiburger tatsächlich einen Türken gefangen und verewigten dieses Ereignis auf diesem Bild. Das Fresko des Türken wurde beim Abbruch des alten Gemeindegebäudes im Jahr 1962 zerstört.