La strada che conduce alla rocca attraversa Varano di sotto, un gruppo di case in cui poco deve essere cambiato dal tempo in cui il maniero era efficiente.
Alcune case risalgono al 1300. La chiesina di S. Antonio poggia direttamente sullo scoglio.
Conserva un portale romanico in pietra bianca. A tergo della rocca restano i ruderi della chiesa di S. Giuliano.
Il gruppo dominato dalla rocca Varano, simbolo della forte e gloriosa signoria, si fa aspro e petroso, a picco sulla valletta del rio S. Luca e sulla stretta valle del Chienti. Le rovine attuali portano i segni di ogni era ed anche del declassamento a casa colonica, fino agli inizi di questo secolo, che poi è servito a salvare il rudere.
Rodolfo Gentile Da Varano e i suoi predecessori, i Signori del secolo XV che continuarono saltuariamente ad abitarvi, ne tennero sempre il possesso. Finito il ducato divennero proprietari la camera apostolica, i Bandini e di recente il Comune di Camerino.
Il taglio per il ponte levatoio, l'unico praticato alla roccia, è ancora visibile. Si entrava subito in una torre di difesa.
La porta d'ingresso, in calcare bianco, a sesto acuto, già sormontata dallo stemma dei Signori, era obliqua all'accesso del ponte per chiare ragioni difensive.
La torre quadrata , oggi caduta, aveva vari piani ad impalcato e a volta ai quali si accedeva da una scala ricavata nel muro.
Una costruzione sotterranea con volta a botte, tuttora maestosa, probabilmente un tempo sovrastata da stanze con torri ai lati, metteva in comunicazione questa ala con quella sul lato del fiume divisa da ampio cortile: la torre bassa nell'angolo di levante (l'attuale merlatura è tarda) e l'edificio di recente restaurato, che è servito da casa colonica, sono le poche parti di una maestosa e poderosa Rocca sopravvissute all'incuria dell'uomo.
La porta ad arco pieno comunica con il muro di cinta sul declivo.