Anticamente era circondato da un fossato e servito da un ponte levatoio. La prima menzione che si abbia, nei documenti assisani, della località di S. Gregorio è del 1114 e proviene dall’Archivio della Cattedrale di Assisi, da cui si apprende che un certo Bonconte, figlio del fu Lupo, donò a Letone, priore di S. Rufino, in suffragio dell’anima del fratello, tre pezzi di terra situati in quel vocabolo.
Nel censimento dei focolari, eseguito nel 1232, tra le cinquantadue balìe in cui era suddiviso il territorio comunale di Assisi figura anche quella Sancti Gregorii con 25 “fuochi” (nuclei familiari), cioè con una popolazione di 125-150 abitanti. Dell’antica Chiesa di S. Gregorio la prima notizia risale al 1120, anno della sua consacrazione. Tale chiesa, denominata di S.Gregorio de Podio (dalla posizione del poggio che occupa), in una bolla di papa Onorio III dell’anno 1217 è elencata tra le dipendenze della cattedrale di Assisi. Nei primi anni del secolo XIV la chiesa passò in possesso dell’abbazia di Nonantola, come confermano gli atti di questo lontano monastero benedettino emiliano, attestanti che le nomine dei priori di S. Gregorio di Coltraticce (tale era il nome della balìa) negli anni 1318, 1322, 1339 e 1387 furono di competenza dell’abate nonantolano. Lo storico assisano Arnaldo Fortini situa la chiesa di S. Gregorio entro il castello omonimo. In realtà, essa doveva sorgere “fuori del castello”, come si apprende da alcuni “Appunti storici” di Giuseppe Elisei, altro storico assisano. Qualche traccia di tale chiesa è ancora visibile in una piccola casa posta sulla piazza antistante il castello.
Secondo l’Elisei, tale chiesina era dedicata a S.Gregorio prete, martire di Spoleto, morto durante la persecuzione degli imperatori Diocleziano e Massimiano. La chiesa era impreziosita da vari affreschi di scuola umbra, gran parte dei quali, minacciando l’edificio di crollare, furono a suo tempo distaccati per interessamento del Comune di Assisi e trasferiti nella civica pinacoteca.
Per quanto concerne le vicende storiche del castello di S. Gregorio, si ricorda che esso, trovandosi nei pressi del Chiascio, lungo il confine tra i territori comunali di Assisi e Perugia, fu spesso al centro delle lotte tra queste due città.
Nel 1320 troviamo il castello, insieme con Valfabbrica e la Torranca, disertare la parte assisana e passare a quella perugina. La stessa cosa si ripeté nel 1383, al tempo della signoria di Guglielmo di Carlo su Assisi e della lotta tra questi e Perugia. Ma sempre S. Gregorio, con la forza o con le trattative, tornò agli Assisani.
Un’altra notizia riguardante questo castello all’alba dell’età moderna è che nel 1479 esso viene ulteriormente fortificato, al pari di quelli di Rocca S. Angelo, Mora e Beviglie.
Evidentemente i tempi erano ancora inquieti e alquanto preoccupanti. Oggi, nell’aprico silenzio della valle del Chiascio, su cui pare ergersi a guardia come una volta, il castello di S. Gregorio si può ancora ammirare nella sua originaria struttura in pietra arenaria, ciottoli di fiume e cotto, in soddisfacente stato di conservazione, anche se in qualche punto si sono verificati dei crolli e su qualche lato le mura sono state trasformate e adattate ad abitazione.
La porta d’accesso, con arco ogivale, sapientemente restaurata, appare come doveva essere un tempo. Al di sopra di essa, nel torrione, si notano ancora le fenditure delle calatoie del ponte levatoio. Dai vicoli stretti e sinuosi dell’interno, dalle antiche dimore abbandonate di artigiani e contadini, dagli archi e dalle volte anneriti dal tempo la voce dei secoli invita a un momento di sosta.