L’edificio attuale fu costruito all’inizio del XVIII sec. su una struttura preesistente e la sua storia è legata a quella della nobile casata Passari. Il palazzo sorge al centro della piazza e, dal lato nord, è completato da una serie di edifici minori collegati tra loro.
L’ingresso principale, caratterizzato da un notevole portale in travertino che dà sulla piazza, è costituito da un corridoio, dove è stato collocato un importante capitello di età romana. Da qui, per una scala , si poteva accedere al piano ammezzato che era destinato ad alloggi della servitù. Il piano che accoglieva la nobiltà corrisponde al livello della strada superiore (via Passari), dove si accede da un secondo ingresso dotato di un portale in cotto. Qui trovano collocazione gli ambienti di rappresentanza: al centro si apre un ampio salone le cui pareti sono decorate, nella parte alta, da allegorie delle quattro stagioni. I soffitti dell’ala nord sono ornati da affreschi ottocenteschi. Al piano superiore si trovano vari ambienti di dimensioni più modeste, un soffitto a cassettoni di legno dipinto e la Cappellina di famiglia in stile barocco, di cui restano gli stucchi dorati.
Il Palazzo è dotato di un piccolo cortile interno, a cielo aperto, in cui è situato il pozzo;  ospita oggi la sede comunale, l’esposizione permanente delle opere di Gaetano Orsolini oltre  una parte della quadreria originale del Palazzo e dipinti provenienti dalla Chiesa di S.Francesco.

Gaetano Orsolini
(Montegiorgio 1884 - Torino 1954): scultore e medaglista formatosi nella bottega paterna, vinse molti premi e si aggiudicò diverse committenze in tutta Italia. Autore di numerosi monumenti commemorativi. Suo Il Combattente, intitolato ai caduti di Montegiorgio, in Piazza Alaleona.