傳說五臺最早是道家的地盤，《道經》裡稱五臺山為紫府山曾建有紫府廟。《清涼山志》稱佛教的文殊菩薩初來震旦 （古代印度人稱中國為震旦） 時， 居於石盆洞中，而石盆在道家的玄真觀內， 這說明當時五臺山為道家所踞。
佛教最初傳入我國時，只有少數人奉行。公元前二年， 大月支國（原居我國新疆西部伊犁河流域的少數民族， 西遷中亞後建立的國家）國王的使者伊存來到當時中國的首都長安（即今西安），他口授佛 經給一個名叫景盧的博士弟子，這是中國史書上關於佛教傳入中國的最早的記錄。
佛教傳入五臺山，普遍的說法是始於東漢。 史籍記載，永平十年（公元67年）十二月，漢明帝派往 去西域求法的使者同兩位印度高僧迦葉摩騰和竺法蘭來到洛陽。
永平十一年在洛陽城西雍門外御道之南， 建造一座僧院以供主兩位印度高僧居住為紀念白馬負經 （《四十二章經》）輸像（佛像）之功，因名白馬寺。
永平十一年，迦葉摩騰、竺法蘭從洛慢來到了五臺山（當時叫清涼山）。 由於山裡很早就有阿育王 的舍利塔，再加上五臺山又是文殊菩薩演教和居住的地方（相傳峨嵋山是普賢菩薩、普陀山是觀世音菩 薩、九華山是地藏王菩薩演教和居住的地方），他二人想建寺，但由於當時五臺山是道教根據地，他二 人頗受排擠奏知漢明帝。 據《國史舊聞》第一冊五0二頁載：“永平十四年正月十五日，明帝集諸道士於白馬寺，使與摩騰、竺法蘭二人塞法”。 雙方達成協議－－約期焚經，以別真偽（相傳，焚經地點在今西安焚經臺）。 焚經的結果， 道教經文全部焚燬， 佛教經文卻尚未完全燒盡，他二人獲得建寺的權利 。臺內山多地廣， 河流縱橫， 何處建寺適宜？《清涼山志》載：“在大塔左側，有釋迦佛所遺足跡，其 長一尺六寸，廣六寸，千幅輪相，十指皆現”。相傳他二人不僅發現此足跡，而且還發現有“舍利”， 再加上營坊村這座山的山勢奇偉，氣象不凡，和印度的靈鷲山（釋迦佛修行處）相似。 由於這三種原因 ，故決定在此建寺。寺院落成後，寺以山名－－靈鷲寺。 漢明帝劉莊為了表示信佛，乃加“大孚”（即 弘信的意思）兩字，因而寺院落成後的全名，叫做大孚靈鷲寺。大孚靈鷲寺是現今顯通寺的前身。從那 時起，五臺山開始成為中國佛教中心，五臺山的大孚靈鷲寺與洛陽白馬寺同為中國最早的寺院。
南北朝時期，五臺山佛教的發展出現第一個高潮。 北魏孝文帝對靈鷲寺進行規模較大的擴建，並在 周圍興建了善經院、真容院等十二個寺院。北齊時，五臺山寺廟猛增到二百餘座。到了隋朝，隋文帝又 下詔在五個臺頂各建一座寺廟。即東臺望海寺、 南臺普濟寺、 西臺法雷寺、北臺靈應寺、中臺演教寺。也因為五臺山是文殊菩薩演教的地方，所以這五個臺頂上的寺廟均供奉文殊菩薩，但五個文殊的法號完 全不同：東臺望海寺供聰明文殊、南臺普濟寺供智慧文殊、西臺法雷寺供獅子文殊、 北臺靈應寺供無垢 文殊、中臺演教寺供孺童文殊。從此以後，凡到五臺山朝拜的人，都要到五個臺頂寺廟裡禮拜，叫做朝臺。 此時五臺山之名已經大量出現在北齊史籍之中了。
盛唐時期，五臺山佛教的發展出現了第二個高潮。《華嚴鈔》載： “自太宗至德宗凡九帝（公元62 7－805年）莫不傾仰靈山，留神聖境，御札天衣，每光五頂……不可悉記。”這個期間據《古清涼傳》 全山寺院多達三百所，有僧侶三千多人。 此時的五臺山，不僅是我國著名的佛教名山之一，而且是名副 其實的佛教聖地了，被譽為我國四大佛教名山之首。
五臺山佛教的發展，並非一帆風順，北魏太武帝太平真君七年（公元446年）、北周武帝建德三年( 公元574年）、唐武宗會冒五年（公元845年）、 後周世宗顯德二年（公元955年），所謂“三武一宗”， 由於他們不信佛，曾經四次大滅佛法， 全國不少佛教寺廟遭到了毀壞，五臺山也不例外，所有的寺院幾 乎被焚燬殆盡，僅留下一座邊遠小廟南禪寺。後來，唐宣宗雖大興佛法，五臺山因元氣大傷，難以復原。 到了北宋，臺內、臺外寺廟僅存七十二所。北宋的太宗、真宗和仁宗信奉佛教。 這三個皇帝留在五臺山 上的“天書玉札”就達三百八十多軸。元至明初，五臺山的寺廟建築又有所恢復。
明清時期，五臺山佛教再度振興，出現了第三個高潮。清代各帝，均信佛法。 康熙時，還在臺懷、 射虎川和南臺等地營建行宮，每隔兩三年必朝山一次。乾隆時也是如此，直到嘉慶中年以後，才不復繼 續下去。民國年間，仍有善男信女佈施錢財，修建寺廟。據一九五三年成立的“五臺山古蹟保護所”調查，臺內、臺外、臺頂、 臺下青廟有九十九座，黃廟有二十五座， 共計一百二十四座（《五臺山導遊》 一書， 有124座寺院的名稱表）。在抗日戰爭前，通常冬季五臺山有僧尼一千餘人，夏季的二千餘人。 日寇侵佔五臺山以後，許多僧尼逃走，五臺山佛教驟衰。一九四六年五臺山解放後，這座舉世聞名的佛 教名山才真正回到了人民手裡。一九五二年，政府拔款對五臺山的古蹟進行整修。一九五三年，又正式 成立了五臺山古蹟保護所，對寺廟建築和名勝古蹟有重點在進行保養和修繕。在這方面，五臺山民族事 務委員會和宗教事務委員會，作出了很大努力。使得五臺山這位歷經滄桑的歷史“老人”，如今能以新的姿態，新的面貌迎接慕名而來的中外遊客。