战国时期，为中阳邑所在。西汉始置中阳县。东汉末年并人离石县。三国属魏，黄初二年（221）置西河郡，中阳县随属之。十六国时期，初属后赵永石郡，后属西河郡。

前秦、前燕因袭未变。

北朝时期属北魏离石镇（后改怀政郡）。

北周大象元年（579)，析置宁乡、平夷二县，均属离石郡。

隋大业三年