中国历史上第一个奴隶制国家政权夏朝建立在山西南。

商代，山西是商的主要统治区。

周代，晋国由山西境内崛兴。晋文公曾为春秋五霸之一。

秦、汉、魏、晋时期，山西在政治、军事、经济、文化等各个方面，都起着举足轻重的作用。

南北朝时期，山西是北朝统治的中心地带，北魏曾以平城为都，东魏、北齐曾以晋阳为别都，陪都。

唐太宗李世民起兵太原，建立了大唐王朝，由此山西被唐太宗认为是龙兴之地，封太原为唐王朝的北都，北京。

宋朝时期，山西是中国北方的主要发达地区。

元代，全国共11个行省，山西与山东、河北，并称为元朝腹地，大同、平阳、太原三城则成为黄河流域的著名都会。