L’imponente castello è stato ininterrottamente, dal 1097 fino all’ultimo decennio del Cinquecento, feudo dei Ramazzani che avevano assunto il cognome dai propri possedimenti.
La località compare nell’elenco dei castelli perugini dal 1258 come Castrum Ramaçani.

I Ramazzani occuparono per secoli cariche importanti: Giacomo divenne podestà di Foligno nel 1206 e di Todi nel 1211; Guido assunse la carica di podestà di Todi nel 1229; Ugone Boncorntis funse da testimone in Gubbio in un atto notarile del 24 aprile 1279 in merito al castello delle Portole; Ceccolo conbatté a Montecatini, erdendovi la vita nel 1315, contro Uguccione della Faggiuola.

Nel 1415 il comune di Perugia ordinò, senza apprezzabili risultati, la demolizione del castello poiché era diventato motivo di violente contese tra i Degli Oddi (a fianco dei Montemelini) e i Baglioni (a fianco dei Vincioli), ospitandone i relativi fuoriusciti.

Le sanguinose rivalità tra le due famiglie iniziarono nel 1303 quando i Baglioni si schierarono dalla parte dei Ramspanti e i Degli Oddi dalla parte dei Becherini, ma il dissidio divenne odio ininterrotto nel 1331 a causa dell’uccisione di Oddo Degli Oddi “cittadino insigne per imprese di guerra e ambascerie di pace” da parte di Filippuccio e Carluccio Baglioni.

Nel 1482 le due famiglie, con i relativi sostenitori, si fronteggiarono armate nelle vie di Perugia lasciando sul terreno ben 130 morti.
Nel 1433, un Sinibaldo di Pietro Ramazzani partecipò ad un consiglio presso il palazzo dei Priori di Perugia, nel quale venne decretata la distruzione del castello di Casa Castalda per vendicare l’uccisione di ser Africano commessa da nove massari del luogo.

Nel 1444, come risulta dagli archivi catastali, nelle vicinanze si trovavano i poderi (oltre 44 ettari) cum domo et palatio di Agamennone I di Giacomo Arcipreti di porta Sant’Angelo, all’epoca il cittadino perugino con il più consistente patrimonio fondiario esteso in 42 località comprendenti 256 vocaboli. Agamennone I, avviano alla carriera militare sin dal 1424, fu creato cavaliere nel 1433 dall’imperatore Sigismondo di Lussemburgo (1368-1437) e nel 1443 assunse la carica di governatore di Città di Castello per volere pontificio.

Ramazzano nel 1594 passò al conte Giulio Cesare Degli Oddi il quale, essendosi arrogato poteri comunali, fu condannato a pagare una somma cospicua nonostante un’appassionata difesa dell’avvocato eugubino Antonio Ondedei, gonfaloniere nel 1611. La chiesa parrocchiale, dedicata a San Tommaso, fu costruita nel 1610 su un terreno donato dai conti Degli Oddi.

Nel 1633 Antonio Ramazzani sposò Settimia Degli Oddi e le loro nozze  furono immortalate in un sonetto da Luca Antonio Erolani.
Nel 1637 morì Alessandro Ramazzani e così la dinastia si estinse.

Nei secoli seguenti vari proprietari si sono succeduti: i marchesi Coppli (già fedatari dal 1618 del castello di Montefollonico, vicino a Torrita di Siena; l’ultimo discendete Raniero morì scapolo nel 1877, a 76 anni, dopo un passato di eroe risorgimentale ed animatore dlella mondanità perugina); nel 1710 il marchese Orazio Coppoli di Ramazzano discendente della beata Cecilia Coppoli feceistanza al monastero di santa Lucia in Foligno affinché le sue reliquie fossero esposte a pubblica venerazione e lasciò per testamento 50 scudi annui al monastero. Altri proprietari furono: Camillo Pecci, nopote di Leone XIII ( 1878-1903), i Presutti, il conte Bennicelli, che nel 1931 ospitò il re Vittorio Emanuele III, e i conti Attolico di Roma.

Il castello, che sovrasta una fertile estensione agricola, sebbene sia stato più volte rimaneggiato e adattato ai gusti abitativ, si presenta ancora in discerto stato di conservazione. La torre quadrata si eleva sulle alte mura merlate alla guelfa; nel cortile interno si trova  un pozzo profondo 40 metri che comunica con le segrete e i sotterranei. Il palazzo signorile ospita sale affrescate e la cappella castellana, in cui sin dal 1113 venivano 
officiate le messe dai monaci cistercensi della vicina abbazia di Montelabate.