Vivaro Romano aveva un castello presumibilmente fin dai primi anni della dominazione longobarda, però il primo documento a testimoniare la sua presenza è il Regesto di S. Maria di Farfa, della quale Vivaro era feudo, risalente all’anno 1012. Questo primo castello venne distrutto da un violento incendio a metà del XI secolo. Ricostruito e nuovamente distrutto alla fine del XIII secolo, divenne territorio alleato ai Colonna e con la loro sconfitta anche Vivaro Romano dovette subire le ire del Papa. Mentre nella spartizione dei beni dei Colonna, coi quali il Papa ricompensò i suoi alleati, molti finirono in mano agli Orsini, Vivaro tornò sotto la giurisdizione del monastero di Farfa. Soltanto dopo che nel 1440 divenne Commendatario di quella Abbazia Giovanni Orsini, arciv. di Trani, gli Orsini occuparono la maggior parte dei feudi, tra cui Vivaro.
La rivalità fra le due potenti famiglie si riaccese nella seconda metà del secolo XV ad opera del Re di Napoli, che favorì attivamente i Colonna, per farne un sempre più valido alleato contro le rivendicazioni papali di alta sovranità feudale sul regno aragonese. Furono le alterne vicende della lotta a indurre gli Orsini a costruire un nuovo e più solido castello che per cinquecento anni avrebbe sfidato gli assalti degli eserciti e la violenza degli uragani. Era circondato da alte mura, che cingendo il centro abitato, gli garantivano sicurezza e protezione. In esse si aprivano quattro porte, Porta Paola e Porta Nova delle quali rimane soltanto il nome, e Porta Lancia, situata in cima all’attuale via del Rio, e Porta Colle Gennaro all’ingresso della via omonima, ora via Mastro Lavinio, delle quali non resta neppure il ricordo.
“ Aveva un solo ingresso dalla parte di tramontana mediante una cordonata cinta di muro, sulla sommità della quale si trovava di fronte il primo portone… Entrato il quale, dopo un piccolo terrapieno, volgendo verso destra, si osservava un’altra porta anch’essa fatta e solidamente costruita,
che dava l’ingresso ad una piazza ben grande tutta recintata di muro,piantata tutto sgrasegli e sasso vivo. A capo di quel cortile, per mezzo di doppie scale si saliva ad una porta di media grandezza, che formava l’unico ingresso alle camere del palazzo a destra della porta del carcere, e dalla porta del Governatore, che facevano bensì parte di tutto quell’edificio, col quale però non avevano comunicazione interna; e il loro ingresso era a destra della sopra nominata cordonata, e fuori del primo portone.Ai lati del palazzo, alla parte del cortile, si innalzavano ben due torri di forma quadrata,ed altre poco dissimili al centro del medesimo. Il tutto sembrava un forte, e lo era veramente, essendo i muri ben connessi fatti di un materiale tenacemente compatto e quasi impenetrabile, con la larghezza meravigliosa che negli angoli giungeva a quindici palmi. Alte assai erano le finestre aperte all’interno della fabbrica, dalle quali si poteva molto bene difendersi e offendere altri, con poco pericolo di rimanere offesi. I comodi nell’interno erano ben molti; le camere spaziose e regolari.”