La chiesa è una delle più antiche della città, la primitiva costruzione forse risale a prima dell'anno mille, il primo documento nella quale è nominata porta la data 1080.
In stile romanico, ad una sola navata, ha una facciata in peperino culminante in un campanile a vela. Nel campanile sono inseriti diversi inserti di marmo bianco finemente scolpiti, provenienti da edifici più antichi. Sulle falde del tetto, di fianco al campanile, due sculture medievali: a destra un leone, simbolo dell'evangelista Marco, a sinistra un toro alato simbolo dell'evangelista Luca. Probabilmente le due scultura facevano parte di un portico oggi scomparso. Alle estremità delle falde due palle di pietra su un basamento piramidale.
La porta di ingresso è sormontata da una lunetta con un affresco raffigurante la Madonna con bambino tra i santi Andrea e Silvestro. Sopra il portale il simbolo della confraternita del SS. Nome di Gesù.

Una targa, sul lato sinistro della facciata, ricorda l'efferato fatto di sangue che il 13 marzo 1271 fu compiuto all'interno della chiesa.
In quel periodo, a Viterbo, era in corso da oltre due anni un conclave e, nonostante il tempo trascorso, non si vedeva tra i cardinali nessun accordo sul nome del nuovo pontefice. Nel tentativo di sbloccare la situazione, giunsero a Viterbo, di ritorno dalla crociata di Tunisi, il re di Francia Filippo III ed il re di sicilia Carlo I d'Angiò. A rendere omaggio a re Carlo giunse Guido di Monfort che era il suo rappresentante per la Toscana accompagnato dal fratello Simone. Giunti a Viterbo, i due Monfort appresero della presenza in città di Enrico di Cornovaglia, loro cugino carnale e cugino anche di re Edoardo I di Inghilterra. Sei anni prima, Simone di Monfort duca di Leicester, padre di Guido e Simone,era stato orribilmente trucidato per ordine della famiglia reale inglese, nonostante si fosse consegnato prigioniero dopo la battaglia di Evesham nella quale aveva guidato le truppe ribelli alla corona. I due fratelli pensarono fosse giunto il momento di vendicare il loro padre e, la mattina del 13 marzo 1271, mentre Enrico di Cornovaglia assisteva alla messa, al momento della comunione, irruppero nella chiesa e trucidarono il principe proprio sull'altare presso il quale aveva cercato rifugio. Fu pure ucciso un chierico che aveva tentato di difenderlo mentre un altro rimase ferito. Gli assalitori erano già fuori della chiesa pronti a fuggire, quando Guido, incitato da un cavaliere al suo seguito, tornò indietro e, afferrato il cugino morente per i capelli, lo trascinò fin sulla piazza. L'atroce delitto, sia per perché compiuto in un luogo sacro, sia per il grado di parentela tra l'ucciso ed i suoi carnefici, destò molto scalpore in tutta l'opinione pubblica dell'epoca; Dante stesso ricorda l'episodio nei versi 115-120 del XII canto dell'inferno.
Il cuore del principe inglese fu portato a Londra mentre il corpo prima tumulato nella cattedrale di Viterbo fu in seguito traslato nel duomo di Orvieto.
L'interno a una sola navata è molto semplice, il soffitto a capriate di legno, due finestre su ogni parete, un oculo posto sopra la piccola abside. Una porta secondaria si apre sulla parete di sinistra.
Nella parete di fondo, sovrastanti le porte che immettono nella sacrestia due iscrizioni, una in latino e una in italiano volgare, ricordano l'uccisione di Enrico di Cornovaglia.
L'abside è interamente affrescata, nella parte centrale è raffigurata un Noli me tangere tra i santi Andrea e Silvestro, nella calotta Dio Padre tra due angeli.
Il crocefisso ligneo appeso al centro dell'abside è del 1600.
Sulla parete di sinistra i resti di un affresco del '400 con San Giovanni Battista e San Givanni Evangelista. Sulla parete di fondo resti di affreschi del '300.