漢初，呂梁還是太原郡的領地。元朔四年(公元前125年)設立西河郡後，呂梁分屬西河郡、太原郡、平陽郡。大嶺、陶萍(本文橫陶之鄉)、紫石為太原縣所轄縣；林、高朗、中陽、離石、土軍、吉、鄰水為西和縣所轄縣；鋪子縣是平陽縣下轄的壹個縣。王莽代漢後，紫石縣改為梓潼，大陵縣改為大寧，陶萍縣改為多茂，鄰水縣改為水間。東漢建立後，郡縣恢復舊名。
東漢初，呂梁屬西河、太原、河東三縣。離石、林、高朗、鄰水、中陽、平洲為西和縣所轄縣；大嶺、陶萍、紫石是太原縣所轄的縣；鋪子縣屬於河東縣。永和五年(公元140年)九月，西和縣遷至離石縣，是呂梁最早的縣級建築。同年，鄰水縣並入離石。鐘平時期，明治縣“南徙至紫石縣界，尋廢”。建安二十壹年(公元218年)“南匈奴附之”，左半部居紫石，中半部居大嶺。
三國初，呂梁是魏的地盤。黃初二年(公元221)，設西河郡，治紫石郡，下轄離石、中陽兩縣。大嶺縣和陶萍縣仍屬太原縣，而堡子縣仍屬平陽縣管轄。
西晉時，呂梁各郡分別屬西河州和太原州，郡縣不變，只將子時縣改為冀市(西河州隸屬郭縣，今汾陽)。東晉十六國時期，呂梁大亂。後趙元年(公元319年)，設永世郡“棄離石郡”，搜改西河，後燕設離石護軍。永興後西河縣並入太原縣。
北魏初，呂梁為太原郡版圖，下轄大嶺、陶萍、子時等郡。天興初加歷市鎮，延和三年(公元434年)設土井鎮，太平真君九年(公元448年)，土井鎮由嶺東縣、靈溪縣組成，陶萍縣改為平遙縣，後遷出該區，大嶺縣改為陽陽縣。太和八年(公元484年)，復置西和縣。太和十年(公元486年)，土井鎮改為土井縣。同年設飛瀑子縣，以汾州、土井、西河五縣為其縣。太和十七年(公元493年)，設永安郡；太和二十壹年(公元497年)，陵東縣改新城，陵西縣改土京。
東魏時，呂梁仍為汾州、太原郡的疆域，汾州轄西和、土井兩郡，冀城、永安兩郡屬西和郡。土井、忻城兩縣屬土井縣；壽陽縣仍屬太原縣，離石鎮仍位於離石境內。
北齊和北周時期，呂梁是兩個政權的紛爭之地，北齊胡魯金修築長城的起點金鎖關就在該地區的黃路嶺上，遺址至今仍存。當時有汾州西部的懷政縣、朔州南部的西和縣、圖經縣的神武縣和呂梁並縣的太原都。南朔州改稱汾州，行署仍設在濟市，隸屬西和縣。李市鎮改為懷政縣，下轄彰化、涼泉等縣。魏奮縣屬神武縣，陽陽縣屬泰源縣，土井縣、忻城縣屬土井縣，後因割縣改為懷政縣。北周建德年間，西芬郡改名為石州；大象年間，南朔改名解州；並設胡、庫胡、烏圖三縣及同名縣。
隋、呂梁分屬離石縣、西和縣、太原縣、婁煩縣、龍泉縣。離石縣、修化縣(庫湖縣改)、太和縣(烏圖縣改)、平邑縣、鼎湖縣(今柳林孟門)、寧鄉縣隸屬離石縣，西和縣下轄冀市、永安縣兩縣，壽陽縣仍隸屬太原縣，蘭城縣隸屬婁煩縣，石樓縣隸屬龍泉縣。
唐朝時，呂梁屬石州、汾州、譙周、蘭州、並州(後改為太原)。西河(譙縣改)、孝義(永安縣改)屬汾州、離石、平邑、鼎湖(今柳林孟門所在地)，臨泉、方山屬石州，方毅、和合屬蘭州；石樓、溫泉縣屬西州，交城(新析)，文水縣屬並州(太原)。
五代時期，呂梁疆域不變。
宋代呂梁屬石州、汾州、蘭州、冀州、晉寧軍、太原府。離石、平邑、方山是石州下轄的縣。西和、孝義是汾州下轄的縣；方毅、和合是蘭州下轄的縣；石樓、溫泉是冀州下轄的縣；鼎湖(今柳林孟門所在)和臨泉是晉寧軍管轄的縣；交城、文水兩縣屬太原市政府管轄。
到了晉朝，只是因為撤銷了晉寧軍，將所轄的郡改為石州，其他郡的隸屬關系不變。
元朝時，呂梁大部屬太原道(後改為集寧道)管轄，有交城縣、文水縣、星州、蘭州、林州、石州(下轄離石縣、寧鄉縣)、汾州(下轄西和縣、孝義縣)。石樓是晉寧路下轄的壹個縣。
明初，呂梁各郡除石樓縣外，均屬太原。有興縣、嵐縣、臨縣、交城、文水縣，以及石州(寧鄉縣下轄)、汾州(孝義縣下轄)縣。萬歷二十三年(公元1595年)五月，汾州升為府，靠郭建立汾陽郡。原太原府所轄縣，永寧府臨縣(隆慶三年，石州改)，寧鄉縣及原汾州所轄縣改為汾州府，汾陽縣由府設立。萬歷四十年(公元1612)，石樓縣劃歸汾州府，清朝建制不變。
民國元年(1912)，撤銷汾州府建制，永寧府改為縣。第三年(1914)，永寧縣改為離石，寧鄉縣改為中陽。民國七年(1918)，增設方山縣。
抗日戰爭和解放戰爭時期，呂梁各縣隸屬晉綏邊區行政公署(初稱晉西北)。
1949年9月，山西省人民政府成立後，呂梁有興縣區、汾陽區。興縣區轄興縣、臨縣、離石、方山、嵐縣等11縣，汾陽區轄汾陽、孝義、交城、文水、中陽、石樓等9縣。
3月27日1951，汾陽區撤銷，交城、文水、汾陽、孝義等縣劃歸榆次區，中陽縣劃歸興縣區；石樓縣劃歸津南特區。
7月1952，1，興縣地區撤銷，興縣、嵐縣劃歸雁北地區；臨縣、房山、離石、中陽在榆次地區之下。
7月1954，1，離石、方山兩縣合並為離山縣。6月1958 165438+10月10，文水縣、交城縣並入汾陽縣，中陽縣、離山縣並入離石縣，孝義縣並入介休縣，嵐縣分別並入靜樂縣、興縣，石樓縣並入呂梁縣。1959 9月19除孝義縣外各縣恢復建設，孝義縣5月恢復建設1961。
1971年5月，建立呂梁地區，同時恢復方山縣，新增婁煩、交口兩縣；1972年4月，婁煩縣劃歸太原市；1971年1年10月5日，柳林縣新增。1992年孝義撤縣設市，1996年離石、汾陽撤縣設市。
2003年6月23日，10，國務院批準呂梁撤地設市，離石由縣級市改為市轄區。
2004年7月9日，呂梁正式上市。