Rožaje je imalo sve odlike orijentalne kasabe: džamije, minareta, turbeta, han, kule čardake i sokake.
Varoš se razvijala oko dva jezgra, starijeg u Gornjoj čaršiji, oko tvrđave koja je srušena i više ne postoji i mlađeg oko Ganića kule.
Na čaršiju su se nastavljale mahale, podijeljene po plemenima: Kučanska, Kurtagića, Zejnelagića, Agića, Kovačka…
U pravcima mahala pružali su se kaldrmisani sokaci. U mahalama su kuće bile razbacane po prostranim avlijama.
Kuće su uglavnom bile na dva sprata, prvi sprat od kamena ili drvenih greda a gornji od čatme. Sve kuće su bile pokrivene drvenim daskama – šindrom.
Nažalost veoma mali broj kuća je očuvan, a restauracija nije u potpunosti obavljana u stilu koji je nekada preovladavao.
Veći dio je prepušten zubu vremena, i pred našim očima nestaju objekti od izuzetne ljepote i kulturno – istorijske vrijednosti.
