1978年,山西師范學院呂梁師專班在汾陽師范創辦。山西省計委,省教育局下達招生計劃150人,開設三個專業:物理、數學、英語。呂梁地區教育局委派專人負責管理。
1979年,遷到離石,由地區教師進修校代管,開設漢語言文學,數學兩個專業,在校生101人,汾陽師范三個專業從1979年冬起,每年報表都由呂梁地區教師進修校匯總上報,行政撥款按單位歸屬撥款。
1980年,學校在東川河亂石灘上,以春苗包款方式圈住81畝地開辟新校址。制定建校方案,1981年深秋,新校址上第一批學生入學住進。
1984年,呂梁師范專科學校正式建立。6月2日,山西省人民政府(84)晉政函61號文件《關于建立臨汾、呂梁師范專科學校的批復》,批準呂梁師范??茖W校建校。
1984年,學校頒布校訓為“高瞻遠矚,博覽多思”,校歌為《我們是創新的一代》,制定了一系列文件,確立了辦學指導思想,培養人才規格和改革的內容、目標、方法、步驟、措施。組織實行了十項改革。
1986年10月,呂梁師專新校址建筑面積達2.3萬平方米,硬化路面9000平方米,植樹1.3萬棵。在校教職工235人,在校生770人。已經為社會輸送畢業生881人。
1990年,建立呂梁高等??茖W校。與呂梁師專合并的呂梁理工??茖W校,最早籌建于1985年。山西省人民政府(85)晉政函16號文件,批準呂梁理工??茖W校在校生規模為1500人,總建筑面積48600m2,占地面積153畝,總投資1500萬元?;I建基本竣工后,呂梁理工專科學校于1989年8月招生,首批新生工業與民用建筑、化學工程兩個專業80人入學。
1989年3月2日,山西省人民政府(89)晉政函14號文件《關于將呂梁理工專科學校改由省管》的文件指出:將正在籌建的呂梁理工??茖W校改由省教委管理并與呂梁師范??茖W校聯合辦學;聯合辦學后,理工科辦學規模、基建投資不變,部分公共設施與師專統籌共用;兩校實行統一領導;作為“呂梁師范??茖W校的理工部”,在國家教委正式批準之前暫用“太原工業大學呂梁??撇?rdquo;的名稱。
1989年6月23日,國家教委(89)教計字092號致山西省人民政府《關于同意你省兩校合并改辦為“呂梁地區高等??茖W校”的通知》文件批準,同意呂梁理工專科學校(籌)和呂梁師范??茖W校合并改辦為呂梁地區高等??茖W校,由山西省人民政府領導,省教委主管,屬于普通??茖W校,內設理工部和師專部,辦學規模為1900人,其中理工部1000人,師專部900人。
1989年8月3日,山西省教委,山西省計委,山西省財政廳,山西省人事局,山西省勞動局五個委廳局聯合下發晉教計字(1989)13號文件《關于呂梁理工??茖W校(籌)和呂梁高等專科學校合并改辦為呂梁地區高等??茖W校實施中有關問題的通知》文件指出:呂梁理工??茖W校自1989年3月2日正式上劃省教委直接管理;在領導班子未組建之前,由任元恩、劉輝漢、王興富三同志先組成臨時領導組,實施開展工作。至此,呂梁理工??茖W校經歷了短短四年的籌建,走上了一條與呂梁師范??茖W校合并辦學,建設呂梁高等專科學校的新的辦學之路。
2000年,學校擴大招生規模,教學質量不斷步提高。
2003年,新一屆領導班子提出“強校升本”奮斗目標,在省、市各級黨委、政府、教育行政主管部門親切關懷下,決定以呂梁高等??茖W校為依托籌建呂梁學院。
2008年,學校通過省教育廳高職高專人才培養工作水平評估并獲得優秀。
2009年,投資4.47億元的千畝新校區一期工程17.5萬平方米建設工程基本竣工,學校實現部分搬遷,學校通過教育部專家升本評估驗收。2010年1月在教育部專家組南寧會議上,以高票通過升本票決。
2010年,學校升格為本科層次的呂梁學院。5月8日,山西省教育廳下發了晉教發[2010]12號文件《關于轉發省政府轉發<教育部關于同意在呂梁高等??茖W?;A上建立呂梁學院的通知>的通知》的通知》。2010年4月28日,山西省人民政府下發了晉政函[2010]50號文件,《轉發<教育部關于同意在呂梁高等??茖W?;A上建立呂梁學院的通知>的通知》。2010年3月22日,中華人民共和國教育部下發教發函[2010]26號,《教育部關于同意在呂梁高等專科學?;A上建立呂梁學院的通知》指出:山西省人民政府:你省《關于申請建立呂梁學院的函》(晉政函[2009]98號收悉。根據《高等教育法》和《普通本科學枝設置暫行規定》的有關規定以及全國高等學校設置評議委員會五屆四次會議的評議結果,經研究,同意在呂梁高等??茖W?;A上建立呂梁學院,學校代碼為10812;同時撤銷呂梁高等專科學校的建制。文件指出:呂梁學院系本科層次的普通高校,學校應逐步過渡到實施本科教育為主。學校由山西省人民政府統一領導和管理,學校發展所需經費由省統籌解決。首批設置6個本科專業,即:漢語言文學、思想政治教育、數學與應用數學、化學、生物科學、化學工程與工藝。教育部將適時對學校辦學情況進行評估。教育部要求:山西省政府要加強對呂梁學院的領導,加大投入力度,不斷提高教育質量、科研水平和辦學效益。要緊密結合地方和行業發展需要,進一步加強呂梁學院的學科專業建設,為山西省的經濟建設和社會發展做出更大貢獻。