La chiesa di S. Panfilo fuori le mura è stata fondata dei Benedettini in epoca romanica,
Le sue antiche origini sono testimoniate da fonti documentarie che attestano la sua presenza a partire dal 1084, anno in cui Guglielmo conte di Loreto dona l'edificio all'abate del monastero di Santa Maria di Picciano.
Delle prime modifiche al complesso sono effettuate tra il 1480 e il 1489, quando sono realizzati ex novo il campanile, il portale di facciata, che reca la data 1489, ed il rosone.
L'ammodernamento barocco della chiesa ha inizio con la cessione del complesso ai Francescani che giungono a Spoltore nel 1617 "in occasione di una desolante epidemia". Nell'ingresso è ricavato un piccolo atrio con volta a vela affrescata, su cui è posto un organo a sette registri, datato 1696.
Lungo le pareti delle navate sono realizzati imponenti altari commissionati dalle più nobili famiglie della città, ornati da colonne e stucchi, dipinti e statue in legno stuccato e dipinto a grandezza quasi naturale mentre una serie di medaglioni in gesso dipinto con i ritratti di santi, putti, volute è posta a coronamento degli archi lungo tutta la navata centrale.
Tale ricca e frastagliata decorazione rende la chiesa di S. Panfilo un originale "monumento alla devozione popolare" che restituisce al visitatore una "commovente atmosfera da festa paesana" (Bartolini Salimbeni, 1993).
Il convento adiacente la chiesa è oggi residenza privata e mostra un volto neomedievale realizzato tra il 1912 e il 1913 su disegno dell'architetto Ernest Wille.