С самого начала храм строился как кладбищенский. Деревянная кладбищенская церковь была построена вскоре, после того как под очередное городское кладбище была отведена земля в 1784 году. Строилась эта церковь по образцовому проекту, прилагавшемуся к первому Генеральному плану Рязани 1780 года.
В 1807 году, при архиепископе Амвросии (Яковлеве-Орлине) на пожертвования надворного советника купца Петра Алексеевича Мальшина была построена вместо деревянной новая каменная церковь, в которой находились три престола: главный - в честь иконы Божией Матери «Всех скорбящих Радость», правый – в честь праведного Алексия человека Божия и левый – в честь преподобного Онуфрия Великого.
Иконостас храма написан в 1878 году. Стены храма были расписаны известным рязанским иконописцем Николаем Васильевичем Шумовым. Возле храма погребен епископ Борис (Скворцов), возглавлявший Рязанскую епархию с 1965 по 1972 год.
На территории Скорбященского кладбища расположена часовня в честь святой блаженной Любови Рязанской, над местом, где она была погребена. В годы Великой Отечественной войны на Скорбященском кладбище хоронили умерших в госпиталях Рязани раненых. Позже на кладбище был сооружен мемориал, посвященный воинам-героям Великой Отечественной войны. При храме работают: воскресная школа для детей и взрослых; приходская паломническая служба и библиотека.
Ежедневно в храме, расположенном на Скорбященском проезде, д. 1а, совершается Божественная Литургия .