A mediados del siglo XII, antes de la construcción de la iglesia, los Caballeros Templarios de Londres se reunían en un lugar en High Holborn en una estructura establecida por Hugo de Payns (ese lugar fue históricamente la sede de un templo romano en Londinium). Debido al rápido crecimiento de la orden, para la década de 1160 este lugar se les había quedado pequeño, y la orden compró el actual sitio para establecer un gran complejo monástico que sirviera de sede en Inglaterra. Además de la iglesia, el conjunto originalmente contenía residencias, instalaciones de entrenamiento militar, y terrenos de recreo para los monjes guerreros y los novicios, a los que no se les permitía ir al centro de la ciudad sin permiso del Maestro del Temple.
El edificio de la iglesia agrupa dos secciones separadas. La sección original de la nave, llamada Round Church, y una sección rectangular, construida aproximadamente medio siglo después, llamada Chancel. Para mantener las tradiciones de la orden, la nave de la iglesia fue construida a partir de un diseño circular basado en la Iglesia de Santo Sepulcro de Jerusalén. La nave tiene 16.76 metros de diámetro, y está rodeada de las primeras columnas libres de Mármol Purbeck. Es probable que las paredes y las cabezas grotescas estuvieran originalmente pintadas con colores. Fue consagrada el 10 de febrero de 1185 en una ceremonia presidida por Heraclius, Patriarca de Jerusalén. Se cree que Enrique II estuvo presente en la consagración.
La orden de los Caballeros Templarios era muy poderosa en Inglaterra. Prueba de ello es que el Maestro del Temple tenía asiento en el Parlamento como primus baro (primer barón del reino). El recinto era regularmente usado como residencia por reyes y representantes del Papa. El Temple también se usó como banco de depósito, a veces en contra de los deseos de la Corona de incautar los fondos de los nobles que habían confinado su riqueza allí. La independencia y riqueza de la orden a lo largo de toda Europa está considerada por la mayoría de los historiadores como causa principal de la caída de la orden.
En enero de 1215 William Marshall (que está enterrado en la nave cerca de sus hijos, bajo una de las 9 efigies de mármol de caballeros medievales) actuó de negociador durante una reunión en el Temple, entre el Rey Juan I y los barones, que exigían que Juan defendiera los derechos consagrados de la Carta de Coronación de su predecesor Ricardo I. William juró en nombre del rey que las quejas de los barones se abordarían en verano, lo que llevó a Juan a firmar la Carta Magna en junio.
Posteriormente William se convirtió en regente durante el reinado del hijo de Juan, Enrique III. Después Enrique expresó su deseo de ser enterrado en la iglesia y para ello, a principios del siglo XIII, se tiró el coro de la iglesia original y se construyó una nueva estructura, ahora llamada Chancel. Fue consagrada el día de la Ascensión de 1240 y agrupa un pasillo central y dos laterales de idéntica anchura. La altura de la cúpula es de 11 metros. Uno de los hijos de Enrique, que murió muy joven, está enterrado en el Chancel, pero Enrique al final cambió su voluntad con instrucciones de ser enterrado en la Abadía de Westminster.
Tras la destrucción y abolición de los Caballeros Templarios en 1307, Eduardo II tomó el control de la Iglesia como posesión real. Posteriormente se entregó a los Caballeros Hospitalarios, que alquilaron la Iglesia a dos colegios de abogados. Uno de ellos se mudó a la parte de la Iglesia que fue usada por los Caballeros Templarios, y la otra lo hizo a la parte destinada a los monjes, y compartieron el uso de la iglesia. Los colegios se agruparon en el Inner y Middle Temple, dos de las cuatro asociaciones de abogados o Inns of Court (las otras dos son Lincoln's Inn y Gray's Inn).
