元妙觀的前身是建于唐代的開元寺，位置在今中山六路中六電腦城處。唐天寶七載（748），律宗高僧鑒真第五次東渡日本失敗后，南海太守、采訪使劉巨麟向朝廷奏報，皇帝下詔留鑒真在廣州開元寺供養(yǎng)。鑒真在開元寺住了一春，然后北上韶州，離開廣州時“傾城遠送”，（[日]真人元開著，汪向榮?！短拼蠛蜕蠔|征傳》）非常熱鬧。
開元寺占地甚廣，中山六路以北，祝壽巷以南，海珠北路以西，人民北路以東，約1.2萬平方米。唐元和十二年（817），國子祭酒孔戣出任廣州刺史，在寺地范圍內(nèi)建了座廣恩館。南漢大寶十年（967），以南漢后主劉鋹之名鑄造了一座鐵塔，置放在開元寺。南宋端平年間（1234－1236），光孝寺住持僧紹喜將塔移至光孝寺，并建殿保護。鐵塔今仍存光孝寺。

宋真宗大中祥符二年（1009），詔天下建天慶觀，祀圣祖趙真君，開元寺改為天慶觀。大中祥符五年（1012）十月，朝廷又下詔增設圣祖殿。廣州天慶觀又稱“圣帝殿”。宋皇佑四年（1052），儂智高進犯廣州，天慶觀毀于兵燹。宋治平年間（1063－1067），到廣州經(jīng)商的三佛齊（今印尼）人，目睹天慶觀變成一片廢墟，于心不忍，回國請其國王地華迦羅捐資重建，并購田地充作觀產(chǎn)，至宋元豐二年（1079）完工。三佛齊人捐資重修天慶觀，成就了一段海上絲綢之路的佳話。其后天慶觀改稱玄妙觀。1962年，在祝壽巷小學校內(nèi)出土古碑《重修天慶觀記》（現(xiàn)存越秀山鎮(zhèn)海樓下碑廊），碑文記述了此事。

北宋紹圣元年（1094），蘇東坡因反對王安石變法，被貶往惠州。他路過廣州時，寓居天慶觀，他發(fā)現(xiàn)廣州人生活深受咸水困擾，地方官員們無力解決民間疾苦，卻霸占了最好的水井。蘇東坡在信中引用了羅浮山一位道長的話：“廣州一城人好飲咸苦水，春夏疾疫時多所損矣。惟官員及有力者得飲劉王山井水，貧下何由得。”（蘇軾《與王仲敏》）為了尋找優(yōu)質(zhì)的井水，蘇軾請人在天慶觀鑿井，后人名之為“東坡井”，又稱“蘇井”。當時水質(zhì)甚佳，僅次于光孝寺的達摩井。挖井時得一龜形大石，故該井又叫“石龜泉”。

蘇東坡字體

南宋淳佑年間（1241－1252），廣東經(jīng)略安撫使方大琮挖深東坡泉，并護以定林寺廢寺鐵井欄（定林寺為南漢所建二十八寺之一，在天慶觀附近，時已廢），又作《鐵井欄銘》略云：“眾妙堂，東有泉；經(jīng)品嘗，眉山仙。名去堂，井不遷。宋淳祐，越五年。方大琮，來莆田。去者還，人耶天。得古欄，和名鐫；澤物遠，與坡傳?！敝麑W士李昴英題有續(xù)銘《廣州天慶觀眾妙堂東坡井泉銘——方右史取取定林寺銕井欄護之》：“考經(jīng)云，坡記成；名非古，堂遂輕；兩翁像，久晦明。偉方公，舊觀仍。取彼欄，護此泓。新作蓋，環(huán)以銘。遺千年，飲清泠。續(xù)銘誰？李昴英?！薄皟晌滔瘛敝府敃r在天慶觀中有蘇軾與方大琮像。清代樊封《南海百詠續(xù)編》有詠蘇井詩：

在西門內(nèi)元妙觀。通志云：蘇井在眾妙堂前，東坡來廣時手浚治者也。李文溪集載蘇井甘冽，為名賢手澤。廣帥方大琮取定林寺鐵護之，環(huán)勒銘贊，今亡矣。

精鐵銘欄跡久磨，
王孫絮絮滿庭莎。
硃砂墨沼今何在，
誰似知音春夢婆。

井在元妙觀西偏，芳冽異乎他泉。乾隆初住持道人黃三純墾井旁隙地為菜畦，啟土三四尺，得朽木盈丈，視之洋舶也。搜掘至艙，獲藏鏹無算。蓋漢魏時此處尚屬汪洋耳。

元大德年間（1297－1307），宣慰使答刺海重修天慶觀，改稱玄妙觀。元末明初道士蕭虛集，居琪林觀，以詩文名世，慣以琪林代稱玄妙觀。仿光孝寺山門背面有“訶林”匾額，玄妙觀山門背面亦有“琪林”匾額，故玄妙觀又稱“琪林觀”。
明代羊城八景之一“琪林蘇井”，即指蘇東坡在天慶觀所開之井。琪林即指玄妙觀，以“琪林”寓意城中的玄妙觀為人間仙境。明初道士蕭虛集，居琪林觀，以詩文名世，慣以琪林代稱玄妙觀。仿光孝寺山門背面有“訶林”匾額，玄妙觀山門背面亦有“琪林”匾額，故玄妙觀又稱“琪林觀”。
明洪武初年（1368），征南將軍廖永忠重修玄妙觀。琪林門內(nèi)為儀門，有甬道直達三清殿、玉皇寶殿和真武殿。甬道兩邊有鐘樓、鼓樓；再東側為東廡、金剛庵、方公祠、得閑亭、功德院；西側為西廡、忠靖王廟、眾妙堂。蘇井在眾妙堂外。桂殿蘭宮，嘉木成林，夏有黛綠，秋有蕭瑟。吸引了不少文人騷客在玄妙觀雅聚，吟詩作畫。觀南園五子之一、詩人孫蕡曾在觀中東部的得閑亭居住，寫下《琪林夜宿聯(lián)句一百韻并序》，另有詩句“群英結詩社，盡是琪林仙”（孫蕡《南園歌贈王給事彥舉》）。

、

及至清代，為避康熙皇帝（玄燁）諱，“玄”易以“元”。因此，從康熙年間起，廣州玄妙觀改稱為元妙觀。東西分別增建金剛庵、忠靖王廟。清初觀內(nèi)尚有巨型石龜一只，并有眾妙堂、蘇（軾）公像、方（大琮）公祠、玉皇寶殿、真武殿和蘇井等勝跡。山門前有一座石雕負子母獅，民間風俗，每年元宵之日，城中婦女紛紛到元妙觀，焚香膜拜，向石母獅祈禱求子。元妙觀前香煙如云，花燈如海，非常熱鬧。這個風俗一直延續(xù)至民國初年。
民國以后，元妙觀周圍環(huán)境發(fā)生急遽變化，拆城墻后，興建大量民房，觀地逐漸被擠壓侵蝕。1921年，政府力倡“改革風俗，破除迷信”，元妙觀被政府征收公用，改建為市立第一兒童游樂園。1934年，元妙觀被完全拆平，時觀內(nèi)尚存古物有蘇井、銅鐘、聚寶爐、菩提樹、龍亭爐等，逐漸散失湮滅。元妙觀遺址曾先后改作市立第三中學校、市立實驗中學、市立第十三小學。1936年改為市立美術學校。
1949年以后，蘇井被填埋，石龜亦被砸碎，元妙觀遺跡蕩然無存。今光孝路東側仍有井邊巷（舊稱井頭巷），為蘇井故地。據(jù)考證，三清殿月臺的石圍欄，后移到懷圣寺。1987年祝壽巷小學建設體訓大樓，有人收拾石龜碎片，加以復原，體形龐大，長約兩米，寬1米余，并在體訓大樓首層東南建水景加以保護。