Originariamente, il paese di Gorfigliano sorgeva intorno all’antico Castello, chiamato tuttora “Casa”, poco distante dall’attuale nucleo abitato. Il Castello di origine Longobarda si erge su di un colle ad un’altezza di 730 m. s.l.m. dove ancora oggi si trova il vecchio cimitero e il Museo dell’Identità dell’Alta Garfagnana Olimpio Cammelli.
Nel corso degli anni ha subito varie ristrutturazioni a partire dalla più antica che risale al 1762 quando la vecchia torre fu trasformata in campanile, fino ad arrivare alla ristrutturazione più’ recente che risale al 1983 quando un gruppo di volontari lavorando nel tempo libero ha ampliato e ristrutturato questo meraviglioso patrimonio.
Nel 1999 sono stati condotti sotto la guida del Dott. Juan Antonio Quiros Castillo scavi archeologici che hanno testimoniato l’effettiva antichità della struttura. Il colle fu definitivamente abbandonato nel 1928 principalmente a causa del terremoto del 1920 quando il paese fu trasferito nella parte più’ pianeggiante del territorio.
Sette altari di macigno e una statua lignea precedentemente appartenuti alla Chiesa Vecchia o Antico Castello si trovano ora all’interno della parrocchiale dei Santi Giusto e Clemente, patroni del paese.