始建於漢獻帝建安年間(196-220)。古稱觀音寺，南宋稱永安寺，金代稱柏林寺。從元朝開始就叫柏林寺了。
在漫長的歷史中，這座古寺雖幾經沈浮，但依然香火繚繞，僧人們輩出。據《三藏傳》記載，著名的譯經大師玄奘大師在西行取經之前，曾來此向慎到大師學習實相學說。唐朝末年，禪師(趙州人)在此駐紮40年，成為法家大家，形成了影響深遠的“趙州門式”。因此，柏林禪寺成為中國禪宗歷史上的壹個重要祖庭。
到了晉代，壹度改為法家道場，這裏有五代法家德人發揚戒律五十年。最著名的律師是全總。晉末，雲誌玄禪大師主持法座，柏林禪寺改法為禪，大獲成功。歸雲禪師壹生主持了七大名剎，回首當時。現在北京西郊潭柘寺仍有它的佛塔。元代出現了圓明嶽西禪師和陸雲星禪師，柏林禪寺以其恢弘的氣象成為趙巖地區的佛教中心。明清時期，趙州中央政府的佛事部就設在柏林禪寺。當時柏林禪寺的住持經常擔任和尚和和尚。百年來，柏林禪寺屢遭搶劫。等到1988年僧侶們再次進入這裏的時候，大殿和雕像已經不見了。只有趙州禪師的佛塔和20多棵唐代古柏依然挺立，告訴世人這裏曾是壹座古老的佛寺。
1988 5月12日，河北省人民政府正式批準百林寺作為宗教場所對外開放，交由河北省佛教協會管理，並逐步籌集修復資金。河北省佛教協會會長凈慧法師親自主持修復祖庭。他不怕辛苦，跑來跑去尖叫，徹夜不眠，慘淡經營。“碎磚亂丟毛毛草”的荒涼景象逐漸改變，大殿裏的佛像壹個個浮現出來。8月28日，1992，普光明寺落成典禮隆重舉行。來自美國、日本、臺灣省和香港的3000多名貴賓以及國內長老和佛教信徒參加了這壹史無前例的慶典。趙樸初校長委托吳黎敏先生親自前來祝賀。
普光寺建成後不久，在十方忠實保護者的大力支持下，柏林禪寺修復工程第二次啟動。五六年間，先後建成:山門、鐘鼓樓、東西走廊、觀音殿、藏經樓、禪堂、懷雲樓、開山樓、會仙樓、知月樓、雲水樓、季翔樓、古佛寺等建築；全院地面硬化或綠化。昔日荒蕪的院落，變成了壹片清凈的佛土，寺廟莊嚴，環境優雅，佛歌悠揚，香客紛至沓來。2003年9月6日，雄偉的萬佛塔落成，佛像開光，標誌著中興在趙州公祠的豐功偉績。壹座占地90余畝、殿堂樓閣林立的千年古剎，經過莊嚴的清洗，重新煥發生機。
在恢復寺廟的同時，百林寺內的僧人組織逐漸穩定，寺廟管理制度日益健全，學修並重的道教風格初步形成。傳承傳統叢林條例，每年正月十五和七月十五兩次邀請驛站建立執事隊伍。住持之下設有典獄長、客堂、那威堂、殿左堂等職能部門，負責寺院的日常管理。住持召集班主、執事開會，對重大問題進行決策，通過民主協商實施。全體僧人堅持每天早晚念經、聽課、打坐，每半月念誦壹次布薩，並在全體僧眾參加的生活會上宣讀《活法》，決定寺院的各項事務。1998年9月，河北佛學院在百林寺招生，培養合格僧人工作正式啟動。9月30日，1998，百林寺開光十周年慶典暨昭州塔修復竣工儀式、凈慧法師升天儀式隆重舉行。這標誌著肇州祖庭中興大業取得了階段性成果。千年古剎煥發出勃勃生機，再次成為閃耀在趙巖大地上的莊嚴法域。
柏林禪寺自1988開館以來，雖然修復工程眾多，資金人力緊張，場地壹度簡陋有限，但壹直在為弘揚佛教，造福社會而不懈努力。通過近幾年豐富的弘法活動，柏林禪寺正逐漸成為壹座面向社會和公眾的現代佛教寺院。方丈凈慧法師深謀遠慮。1992年，他在柏林禪寺提出“人生禪”作為佛教的修行。生活禪的主要趣味是“把信仰投入生活，修行在當下，把佛教融於世界，把個人融於大眾”；人生禪的目的是“悟人生，奉獻人生”；“公眾認可、公眾參與、公眾成就、公眾共享”是我們從事各項事業的原則。
為了倡導生活禪的理念，讓佛教更好地融入社會，柏林禪寺從1993開始，每年都會面向社會舉辦“生活禪夏令營”。夏令營的參與者都是18 ~ 30歲的佛教青年，每屆250人左右。在為期七天的寺廟生活中，他們會參加到寺廟中去誦經、坐禪、聽佛教講座、喝茶談心、做愛等活動。營員們在壹個全新的環境中認識佛教的博大精深，尋求封存在心中已久的真善美，領略佛教的超越與寧靜。夏令營自舉辦以來，得到了各級政府領導和校內外各界人士的贊譽和好評。
柏林禪寺每年例行法會包括上元節吉祥法會、四月初八居士菩薩戒律教導、七月十五中原節感恩法會、三觀音法會、冬季三周禪七。每次法會，滄海壹粟。柏林寺成了四大弟子溫暖的家。僧人堅持念經，每天早晚聽課打坐，每半個月念誦壹次布薩戒律，仿佛遵循法律在夏天定居。冬參夏講。百林寺除了舉辦各種弘揚佛教的活動外，多年來壹直積極參與和支持省佛教協會舉辦的各種社會慈善活動，體現了佛教慈悲為懷的精神。
“天下趙州”，這是壹千多年前王召對趙州禪師德化的推崇。似乎也是今天趙州禪風和趙州祖籍走向世界的先兆。隨著國家改革開放的深入發展和世界各地人民東方文化對其禪文化的回歸，柏林禪寺作為古老的禪宗祖庭和趙州禪風的發源地，越來越向世人展示其凈化人心的巨大價值和雋永魅力。