公元前221年，秦始皇统一六国设置郡县，“賨人”分布属“黔中郡”，郡治在今湘西北沅陵县城二十里处。西汉初，黔中郡更名为武陵郡，郡治移至义陵（今湖南溆浦)。东汉末，武陵郡移至临沅（今湖南常德)。而其郡辖范围，相当于今湖南的沅水、酉水、澧水流域和湖北的清江流域、重庆市黔江流域以及贵州东北的部分地区，而这些地区与现今土家族分布的湘、鄂、渝、黔四省市边区的三十多个县市区的地域基本一致。