L’imponente struttura fu innalzata come una sontuosa residenza baronale a somiglianza del castello di Bracciano; Bartolomeo, che era solito trascorrervi brevi periodi di vacanze, vi mise tutta la sua esperienza di militare, fortificandola nei punti strategici secondo i principi della nuova architettura militare ideata da Leon Battista Alberti (1404-72). Prese in moglie Bartolomea di Napoleone I Orsini (1480), sorella di Glarice (1453-88) sposata con Lorenzo de’ Medici (1449-92); rimasto vedovo nel 1497, Bartolomeo sposò in seconde nozze a Perugia l’anno successivo Pantasilea Baglioni, sorella di Giampaolo. Sul finire del secolo, mentre Bartolomeo combatteva in Toscana, Vittorio Chiaravalle da Canale occupava Todi compiendovi stragi e distruzioni; appreso l’accaduto, il celebre condottiero ritornò in patria, recuperò Todi e catturò Vittorio che fece languire per tre anni nella rocca d’Alviano. Nel1500 la possente fortezza divenne la sede di una fonderia di cannoni tra le più importanti nell’Umbria per opera del figlio Bernardino, esperto fonditore. Bartolomeo morì il 7 ottobre 1515 a Ghedi (Brescia) a causa d’ernia strozzata, dopo aver conosciuto anche l’onta di una lunga prigionia di quattro anni in Francia (dal 1509 al 1513). Nel 1537, alla morte di Livio di Bartolomeo d’Alviano (nato nel 1514), ultimo erede maschile, Paolo III (Alessandro Farnese, 1534-49) obbligò Pantasilea Baglioni e le figlie Porzia e Isabella a sottomettere i castelli di Alviano, Guardea e Attigliano alla Camera apostolica: questi possedimenti andarono ad ingrandire il ducato di Castro del quale ne era signore Pierluigi Farnese, figlio del papa, che nominò come suo luogotenente Paolo Pietro II Monaldeschi della Cervara, marito di Porzia; l’altra figlia Isabella aveva sposato nel 1531 il conte Giovanni Giacomo Cesi. L’atto di cessione del castello venne formalizzato nel 1543 e Isabella ebbe in permuta Acquasparta e Portaria. Perduto il feudo che detenevano dal 993, gli Alviano cambiarono il proprio cognome in Liviani.
Con il passare degli anni la rocca perse la sua importanza militare tanto da essere data in affitto ai Clementini, originari di Rimini; nel 1592 il Consiglio generale, però, condannava a morte Carmelo Clementini e così la proprietà ritornò sotto il diretto dominio della Chiesa. Nel 1644 il feudo d’Alviano fu venduto per 250.000 scudi al marchese Raimondy di Genova che lo tenne per alcuni anni; nel1654 fu acquistato all’asta per 265.000 scudi da donna Olimpia Maidalchini, patrizia romana, moglie di Panfilio Pamphilj e cognata di Innocenzo X (Giambattista Pamphilj, 1644-55), considerata come la donna più ricca dell’epoca ma che morì di peste nel 1657 .
Olimpia, donna di grande scaltrezza, consigliera del papa durante la guerra di Castro, ricevette da Francesco e Antonio Barberini un’ingente somma per convincere Innocenzo X a togliere i sequestri sui beni da loro posseduti, rendendoli responsabili soltanto in sede civile del loro operato. I Pamphilj di Roma discendevano dall’eugubino Antonio, padre di Angelo Benedetto, capostipite del ramo principesco, chiamato a ricoprire la carica di procuratore fiscale da Sisto IV nel 1479. I coniugi Pamphilj ebbero tre figli: Maria, sposata con il principe Andrea Giustiniani; Costanza, sposata con il principe Nicolò Ludovisi; Camillo, prima cardinale e poi sposato con Olimpia II Aldobrandini. Alla morte di Camillo (1760) la signoria passò alla figlia Anna Pamphilj sposata con il generale Giovanni Andrea Doria Landi il quale portava il doppio cognome dal matrimonio avvenuto nel 1627 tra Gian Andrea Doria e Polissena di Federico Landi. I Doria Pamphilj Landi furono, quindi, i nuovi signori del castello che il 18 ottobre 1816 fu ereditato dal principe don Andrea II Doria Pamphilj Landi.
A pianta trapezoidale, circondata dal nucleo abitativo, la possente rocca fu realizzata tenendo conto sia della primordiale struttura,della quale furono utilizzate le fondamenta e alcune torri, sia dell’asperità del terreno. È costituita da quattro torri angolari circolari bastionate, da un nucleo residenziale a tre piani, più attico coperto a falde lignee con manto di coppi, da una porta d’ingresso ornata da un leone e da una testa di medusa. All’interno si trova la cappella gentilizia con affreschi del secolo XVII che illustrano la vita di San Francesco e un cortile quadrato perimetrato da archetti che in estate ospita rappresentazioni teatrali. È attuale sede del municipio, di un centro congressi, del Museo della civiltà contadina e del Centro di documentazione dell’Oasi di Alviano.