런던의 중세 역사와 문학 작품 속 배경을 직접 경험하고 싶은 역사 애호가나 문학 팬들이 주로 찾는 곳이다. 특히 17세기 유명 일기작가 사무엘 페피스가 아꼈던 교회이자 그의 안식처로 알려져 있으며, 찰스 디킨스의 작품에도 등장하여 문학적 발자취를 따라 방문하는 이들이 많다.

1666년 런던 대화재의 참화 속에서도 살아남은 몇 안 되는 중세 교회 건축물을 살펴볼 수 있으며, 해골 장식으로 유명한 독특한 교회 마당 입구는 방문객들에게 강렬한 인상을 남긴다. 또한, 교회 내부에 마련된 사무엘 페피스와 그의 아내 엘리자베스 페피스의 묘지 및 기념비를 직접 보며 그들의 삶의 흔적을 느껴볼 수 있고, 때때로 열리는 점심시간 음악회는 평화로운 분위기 속에서 특별한 경험을 선사한다.

교회 마당 입구의 해골 장식 때문에 찰스 디킨스는 이곳을 '세인트 개스틀리 그림(Saint Ghastly Grim)'이라는 별명으로 불렀으며, 그의 작품 '비상업적 여행가'에서 뇌우 치는 밤에 해골들이 마치 공개 처형당하는 것처럼 보였다고 묘사한 바 있다.

교회 기록에 따르면 1586년 9월 14일, 판토마임 캐릭터로 유명한 '마더 구스(Mother Goose)'가 이곳에 묻혔다고 하며, 이를 기념하는 명판이 교회 외부에 설치되어 있다는 얘기가 있다.

1665년 런던 대역병(Great Plague) 당시, 이 교구에서 처음으로 페스트로 사망했다고 보고된 '메리 램지(Mary Ramsay)'라는 여인이 7월 24일 이곳 묘지에 묻혔다는 기록이 남아있다고 전해진다. 이후 교구 기록부에는 페스트 희생자 이름 뒤에 'p' 표시를 했다고 한다.

교회 이름은 노르웨이의 수호성인인 올라프 2세 국왕(King Olaf II of Norway)에게 헌정되었다. 그는 1014년 런던 브리지 전투에서 앵글로색슨족 왕 애설레드 2세와 함께 데인족에 맞서 싸웠으며, 사후 성인으로 시성되었다. 교회가 전투가 벌어졌던 장소에 세워졌다는 설도 있다.

2차 세계대전 중 나치 독일의 침공을 피해 영국으로 망명했던 노르웨이의 호콘 7세 국왕이 런던에 머무는 동안 이 교회에서 정기적으로 예배를 드렸다고 한다. 이러한 인연으로 전쟁 후 교회 복원 시 노르웨이와의 관계가 더욱 강조되었다.

교회 탑 내부에는 한때 미국 독립 전쟁의 도화선이 된 보스턴 차 사건과 관련된 기념비가 있었다고 알려져 있다. 이 기념비는 1773년 보스턴으로 차 상자를 보냈던 펜처치 스트리트의 식료품 상인 몽크하우스 데이비슨과 에이브러햄 뉴먼을 기리는 것이었다.