Први поуздани историјски извори о ужичкој тврђави потичу из средине 14. века. Тада је била у поседу властелинске породице Војиновић, а од 1366-1373. године припадала је Николи Алтомановићу.