Церковь «Всех Святых», основанная 8 сентября 1864 года, больше была известна под названием «Кладбищенская», названная так, разумеется, по месту своего расположения.

3 октября 1865 года Старокладбищенская церковь сгорела, а вся уцелевшая после пожара утварь была перенесена в маленькую деревянную церквушку, находившуюся в Соборном переулке, между Казанским переулком и Соборной улицами (до недавнего времени там находилось здание почтово-телеграфного ведомства).

Названная церковь была построена еще до обустройства Никольской и Казанской церквей. Служение в ней проходило часто, но не регулярно. После пожара в Старокладбищенской церкви внимания ей стали уделять больше, но 26 октября 1868 года вся утварь была перенесена в Никольскую церковь.

В настоящее время на месте церкви «Всех Святых» расположен Дворец спорта. Здание спроектировано архитектором А. С. Мстибовским, в стиле «конструктивизм», характерном для советсткого времени. Дворец спорта оснащен залом большой вместимости, где проводятся спортивные турниры, феерические ледовые шоу, работают школы фигурного катания и спортивные залы.