Di un castello così imponente sul colle, tuttora abitato, posto a dominare la valle tra Camerino e Castelraimondo, abbiamo poche notizie, ma essenziali e legate a nomi evocatori di fortune diverse della grande famiglia da Varano.
Gentile, subito dopo il passaggio delle truppe Sveve, nel 1260 costruì due torri collegate da galleria seminterrata; Giovanni, il deciso fortificatore delle terre e dei confini camerinesi, le rafforzò per collegarle all'intagliata (sistema di fortifícazioni a difesa del ducato) di cui divennero un punto nevralgico Rodolfo III, il primo vero signore assoluto, ricordò nel testamento (1418) questa torre circondata da alcune case; Giulio Cesare, il più grande dinasta, in un momento di floridezza, nella seconda metà del '400, aggiunse alle torri il palatium, le stanza cioè per abitazione (il Conti vi notò un secolo fa motivi decorativi simili a quelli del castello di Beldiletto; pere e tralci).
Proprietà Massei dapprima, passò in eredità all'Orfanotrofio di Camerino, quindi fu acquistata da Saverio Bruschetti, che nella prima metà dell'800 trasformò totalmente l'antico castello appartenente oggi al conte Giuseppe Vitalini Sacconi.