В 1907 году в присутствии императора Николая II, императрицы Александры Фёдоровны и великой княжны Ольги Николаевны в Большом Красносельском лагере под Санкт-Петербургом состоялась закладка новой каменной церкви Лейб-гвардии Конного полка. Храм был посвящён святой равноапостольной великой княгине Ольге.
Закладка храма была приурочена к памятной дате — 100-летию битвы с войсками Наполеона под Фридландом, в которой принимал участие Конный полк. Строительство продолжалось два года, и в 1909 году храм был освящён и открыт для богослужений.
По традиции в основание строения было заложено 100 золотых монет. Для этой цели был отчеканен небольшой тираж 5-рублевых монет – всего 109 экземпляров. Оставшиеся 9 монет на сегодняшний день являются редчайшими образцами николаевских золотых, стоимость которых доходит до нескольких миллионов рублей.