Di questo curioso e possente edificio non si hanno molte notizie, soprattutto per quanto riguarda le sue origini e la sua costruzione.

Febo Allevi così ne scrisse: “Una specie di fortilizio, il quale per essere piuttosto lontano dalle mura ed alquanto in basso verso mezzogiorno, fa pensare ad una testimonianza di quella feudalità … rimasta così a mezza strada fra la campagna vera e propria e il paese. Pur presentandosi martoriato e piagato, il fortilizio conserva ancora negli angoli – esempio forse unico nella nostra regione – le rotonde torrette pensili con le caratteristiche rifiniture del cono rovesciato (le guardiole o garitte dei castelli settentrionali), ed il mastio coronato di merli che fa corpo con la parte centrale dello strano e bizzarro edificio così tozzo, massiccio e quadrato”.
Le garitte o torrette pensili, chiamate anche bertesche o fertische, col cono rovesciato alla base e con le feritoie ad uso degli arcieri, dei balestrieri e più tardi dei fucilieri, esistono solo su due dei quattro spigoli del fabbricato, e precisamente su quelli contigui alla parete parallela alla strada, ed indubbiamente servivano alla difesa del fabbricato i cui attaccanti potevano provenire solo da quella parte, essendo il lato opposto naturalmente difeso dallo scoscendimento del terreno che degrada rapidamente verso il fosso delle Fontanelle.
Una lunga galleria, scavata nella roccia tufacea, con due bracci ad angolo retto tra loro, ed
alla quale si accede da un ,angusto ingresso a gradini con volta sovrastante, collega i piani abitabili ai cantinati ed ai seminterrati, che dovettero senza meno essere adibiti a stalle ed a prigioni.
La costruzione è probabile sia stata eseguita in due tempi: da prima il torrione centrale con la relativa merlatura di coronamento e poi la struttura quasi quadrata appoggiata tutto attorno al torrione primitivo e coperta a tetto spiovente. La torre centrale merlata che oggi vediamo è frutto di un probabile intervento di rifacimento ottocentesco, che risulta evidente
anche da altri particolari.
La denominazione di Rocca S. Filippo è successiva al 1711, anno in cui il sacerdote Giuseppe Angelini, della famiglia dei proprietari e canonico della cattedrale di Fermo, fece edificare vicino alla rocca la chiesa, ancora oggi esistente ma sconsacrata (sul suo soffitto si vedono ancora i resti di cassettoni lignei che lo rivestivano), intitolata appunto a S. Filippo Neri.
Purtroppo le ingiurie del tempo hanno lasciato segni evidenti sul fabbricato, corrompendone le magnifiche antiche forme.