Надомак бедема Калемегданске тврђаве налазе се Црква Ружица, Капела Свете Петке и конак са тремом. У непосредној близини је и костурница. 

Црква Ружица

 
Храм је посвећен Рођењу Пресвете Богородице и од оснивања познат као Црква Ружица. 
Настанак храма везује се за предају кључева града Београда 1857.године. Стари барутни магацин је архитектонски и функционално преуређен у храмовни простор који је, за разлику од већине храмова, усмерен у правцу север-југ. Црква Ружица у Београду се помиње у народним песмама Женидба Тодора Јакшића и Деоба Јакшића и претпоставља се да је, због истих, иницијатива за изградњу подстакнута у XIX веку, док је тврђава још увек била у рукама турског гарнизона. 
Полијелеј

Црква је разорена 1915. год. и приликом обнове 1921. год. Војно-технички институт из Крагујевца је израдио три велика полијелеја, три велика чирака и иконе Рођења Пресвете Богородице и Светог Ђорђа од пушчаних и револверских метака, гранатних чаура и сабљи. Поред њих, црква има и препознатљиве статуе војника испред бочног улаза из истог доба.

Црква Ружица представља јединствени пример на територији Србије трансформације функције објекта из војног у сакрални. Ово дело покренуто дубоким народним уверењем да је реч о средњовековној цркви Ружици око које су испреплетане легенде и која је сачувана у песмама представљало је ново светилиште у ослобођеном Београду, и то оно које води порекло од средњовековне српске државе. Од тренутка освећења до завршетка Другог светског рата, црква је била у функцији војничког храма. Тек након рата у њој су службовали придворни свештеномонаси, професори Богословског факултета и припадници високе црквене администрације.

Капела Свете Петке

 

Поред Преподобне мученице Параскеве Римљанке и Свете мученице Параскеве из Иконије, српски народ поштује и слави Свету Петку Цариградску као своју велику светитељку. Уз име додавана су јој и поменса имена: Млађа, Епиватска, Трновска, Београдска, Јашка или збирно Балканска, сходно месту где су јој се налазиле мошти. Почетак поштовања култа Свете Петке у Србији везује се за књегињу Милицу која је издејствовала од турских власти да се мошти пребаце у дворску цркву у Крушевцу 1398. год, да би по премештању српске престонице деспот Стефан пренео мошти у Београд. По предању, мошти су биле положене у храм Свете Петке који је књегиња Милица саградила у Београду. Oд Црква Свете Петке саграђене почетком 15. века, није остао никакав видљив спомен. Вероватно су Турци и тај храм разорили одмах по освајању Београда.

Садашња Капела Свете Петке саграђена је 1937. године заузимањем патријарха Варнаве. Приликом копања темеља за нову капелу нађени су у земљи остаци зидова неког ранијег храма, можда баш храма Свете Петке из 15. века. Освећење капеле извршио је епископ викар Сава (Трлајић), у среду 27. октобра 1937. године, „уз огромно учешће побожног народа“. Епископ Сава је са свештеницима одслужио Свету Архијерејску Литургију у Ружици, а потом је сишао у Капелу и осветио њу и извор.

Западно од Капеле је исте те године саграђен црквени дом са свечаном салом. Капела и дом били су повезани са северне стране тремом под који се народ склањао од кише и сунчане жеге, а са јужне стране порта је била ограђена високим зидом. И дом, и трем, и зидови уништени су експлозијом немачке муниције на Васкрс 1944. године, за време савезничког бомбардовања Београда; капела је остала неоштећена. 

Извор Свете Петке

 

Пре постојеће озидане капеле, била је капела – земуница, на падини нешто изнад данашње. Споља су се видела само врата и над њима крст. На крају улаза, мали ходник је водио до извора бистре и хладне воде. Зидови са обе стране улаза били су украшени иконама. Предање говори да је још у 15. веку извор био лековит и претворен у капелу, а да су се мошти чувале одмах до извора спроведеног ка великој дворани митрополитског двора на самом рубу платоа Доњег града. Овај источник Свете Петке до 19. века остаје сачуван у побожности народа и обновом црквеног здања сведочи његов идентитет и идеју златног доба ослобођењем Београда.
 

Мошти

У Капели Свете Петке налазе се делови моштију:

• Руке Свете Петке
• Светог великомученика Пантелејмона
• Светог и преподобног оца Григорија Горњачког

У цркви Ружици налазе се делови моштију:

• Светог свештеномученика Елефтерија
• Светог свештеномученика Харалампија

Иконопис и фрескопис

 

Иконостас Цркве Ружице је урађен у дрвету са позлаћеним дуборезом око 1926. године. Резбарију је радио столар Коста Тодоровић, а иконе јеромонах Рафаило Момчиловић – Свети Рафаило Шишатовачки. Унутрашњост цркве је осликана 1938. године руком руског сликара емигранта Андреја Биценка, а рестаурација је извршена 1998. године.
Данашња Капела Свете Петке је два пута живописана. Године 1948. академски сликар Владимир Предојевић осликао је унутрашњост фрескама које су убрзо пропале због влаге и слабе обраде. Београдски сликар Ђуро Радловић начинико је мозаик који је осветио патријарх Герман 1983. године.
У фрескодекорацији оба здања наглашен је хор националних светитеља који заступа српски народ пред Богом. Представе су инспирисане духом Карловачке митрополије у коме овакав иконографски концепт указује на временски и историјски континуитет Српске Цркве и на дугу традицију српске државности. Света Петка је у црквама добила посебно место и традиционално представљена уз додатак позадине са источним подграђем, чиме је иконографски представљена као српска и београдска светитељка.

Костурница

 

Током ратних сукоба у Београду велики број српских војника сахрањен је у низу мањих гробница на подручју града. С обзиром да је Црква Ружица била војна црква и да се ту војска причестила пре одласка у рат, предлог је био да се на платоу изнад цркве подигне величанствени маузолеј. Због недостатка средстава земни остаци погинулих бораца сахрањују се у костурници код данашњег ресторана Калемегданска тераса, одакле се, због радова на ресторану, костурница премешта испод Јакшићеве куле. Нова костурница је довршена 1937. године, када је вршена реконструкција куле и подигнута капела Свете Петке. У њу су положени посмртни остаци бораца нађених на простору Београдске тврђаве и других привремено ексхумираних бораца који су се налазили у капели војне болнице. Посебан значај спомен костурници даје и податак да је њеном изградњом завршена концентрација војних гробаља на територији Београда.