Il palazzo della signoria, nella sua sostanza, è stato costruito in tre tempi lungo l'arco dei tre secoli di dominio varanesco su Camerino: le case vecchie del terziero di Sossanta e metà piazza, certamente precedenti al sacco del 1259, presero il nome da Gentile I che subito dopo le restaurò.
Venanzio Falcifer, fratello del grande Rodolfo, prima del 1380, le continuò fino al tetto rialzato (le case di Venanzio), al di sopra del grande quadrilatero con la corte a mezzo, costruito da Giulio Cesare dal 1489 al 1499.
Il palazzo di Gentile e il palazzo di Venanzio, ben fusi in unità, restarono sempre l'abitazione dei signori; il palazzo nuovo divenne sede di uffici e di rappresentanza.
Difficile è ricostruire l'esatto disegno perché il crescere della famiglia e delle esigenze lo facevano variare continuamente.
L'inventario Borgia del 1502 descrive 69 vani, 4 logge, 3 cantine nelle case vecchie; 40 vani e una scuderia per 94 cavalli nelle nuove. Cercare autori per le prime costruzioni è impossibile; il lavoro di Giulio Cesare così unitario e condotto in era rinascimentale lo esige: è stato fatto il nome di Baccio Pontelli, che tuttalpiù dette il disegno senza assisterne la esecuzione. Ha richiami a Brunelleschi, ai palazzi signorili di Pesaro, Urbino, Gubbio.
L'università ha utilizzato le case di Gentile e Venanzio e vi ha sistemato la facoltà di giurisprudenza con gli istituti, la biblioteca giuridica e una rappresentanza del rettorato. La facciata sulla piazza e sulla via Ciacomo Venezian, rintonacata, lascia scoperti parecchi motivi ornamentali.
Nelle case nuovi e il palazzo di Giulio Cesare hanno sede gli uffici finanziari, la biblioteca Valentiniana e ancora l'università. La sopraintendenza ha condotto per anni il restauro grandioso delle strutture portanti, delle sale delle armi, della corte le cui colonne monolite erano state rivestite di laterizio; gli stemmi dei Varano e Malatesta (Giovanna moglie di Giulio Cesare), i capitelli in arenaria sono irriconoscibili specie nel lato di tramontana. Un recupero pittoricc) pur incompleto sul piano terra delle case vecchie ha fatto pensare al matrimonio del secolo tra Giulio Cesare Da Varano e Giovanna Malatesta (1451) dei quali si conservano vari stemmi. Opera di uno o più pittori che colgono le acquisizioni di tutte le culture italiane.
Forse il muro, parte in pietre ciclopiche, diventato con Giulio Cesare basamento dell'interno della corte, era quello esterno della città, tanto nel medioevo quanto ai tempi di Roma ai quali appartiene una iscrizione nelle grotte.
In un recente restauro alle finestre a croce guelfa sono stati fissati anche i graffiti, una volta caldi di colore, ma ancora pieni di richiami a disegni di un notevole pittore toscano, forse il Pollaiolo. Il balcone esterno offre uno dei panorami più suggestivi sui Sibillini. Il cancello di ingresso, in ferro battuto è simbolo dell'università.