乳源属韶州，自不待言宋时乳源已有瑶族居住。在《乐昌县志》中就有宋末乐昌西山（今乳源县必背区）瑶民举行起义的史实记载。韶州府推官黄华秀在《乳源县志‘序’》中说“韶乳僻在山谷，民稀瑶伙”。明王朝已设立了瑶总、瑶甲对瑶民进行统治，并每年新春下山“岁时一谒县 ”（清康熙二年裘秉钫《乳源县志•瑶僮》）。说明自宋至今，乳源一直居住着瑶族。