春秋戰(zhàn)國(guó)時(shí)期，今遵義縣地為夜郎東北小君長(zhǎng)國(guó)鱉國(guó)地。秦始皇統(tǒng)一全國(guó)后，推行郡縣制，以鱉國(guó)地置鄨縣，今縣地屬鄨縣，隸巴郡。漢武帝建元六年（公元前135），唐蒙出使夜郎，置犍為郡，縣地隨鄨縣歸犍為郡，郡治初在鄨，在今遵義縣西境。元光五年（公元前130年），治所遷南廣（今云南省鹽津縣附近）。元鼎六年（公元前111年），置牂柯郡，鄨縣劃歸牂柯郡。三國(guó)時(shí)，鄨縣仍屬牂柯郡。晉永嘉五年（311），牂柯郡分為牂柯、夜郎、平夷三郡，今縣地隨鄨縣劃屬平夷郡。東晉咸安元年（371），改平夷郡為平蠻郡，今縣地歸屬依舊。隋開皇初年，以烏江北岸地置牂柯縣，今縣地歸屬其中。
唐武德三年（620），改牂柯縣為建安縣，領(lǐng)屬今縣地。唐貞觀九年（635），以隋代牂柯郡的延江（今烏江）北岸地置郞州，轄恭水、高山、貢山、柯盈、邪施、釋燕6縣。貞觀十一年（637），今縣地為恭水縣。十三年（639），以原郞州地置播州，復(fù)置恭水等六縣隸之。播州屬唐朝直接管理的經(jīng)制州，隸黔中采訪使，朝廷派流官治理。所轄6縣，境域相當(dāng)于今遵義縣、紅花崗區(qū)、匯川區(qū)及綏陽(yáng)縣、桐梓縣地。這是史書上第一次出現(xiàn)播州之名。播州境域后來(lái)大為擴(kuò)展，一直存至明萬(wàn)歷二十八年（1600），歷時(shí)961年，此后就消失了。
唐貞觀十四年（640），更名恭水為羅蒙，高山為舍月，貢山為湖江，柯盈為帶水，邪施為羅為，釋燕為胡刀。十六年（642），改羅蒙縣為遵義縣，遵義縣名由此始。遵義之名，一說(shuō)出自《尚書·洪范》“無(wú)偏無(wú)陂，遵王之義”，言當(dāng)遵循先王之正義，以治民也。一說(shuō)源于東漢公孫述稱王于四川，牂柯郡大姓功曹謝暹反對(duì)，遣使遠(yuǎn)道投奔中央漢光武帝，被封為義郞，有遵循“義郞”作為，擁護(hù)中央王朝之意。坊間多從前者說(shuō)。天寶元年（742），改播州為播川郡。乾元元年（758），復(fù)置播州，領(lǐng)今遵義、帶水、芙蓉3縣。今遵義縣包含有唐帶水縣和當(dāng)時(shí)遵義縣部分地域。唐大歷五年（770），羅榮入播。唐乾符三年，楊端入播，楊氏世據(jù)播州至明萬(wàn)歷二十八年（1600）。
后唐長(zhǎng)興元年（930），遵義縣地屬后蜀。后晉高祖時(shí)，遵義縣地屬楚。后周顯德六年（959），遵義縣地屬后周。大觀二年（1108），置遵義軍，時(shí)遵義縣屬之。宣和三年（1121），廢遵義縣，隸南平軍。端平三年（1236），今縣地設(shè)播川縣，隸南平軍。嘉熙三年（1239），設(shè)播州，以播川縣為州治。
宋大觀二年（1108），首領(lǐng)楊光榮、楊文貴各獻(xiàn)其地附宋，分別置播州和遵義軍，遵義縣屬遵義軍，同隸夔州路。宣和三年（1121）廢播州為城，隸南平軍；廢遵義為砦，隸珍州。嘉熙三年（1239）復(fù)設(shè)播州安撫司，以播川縣為州治。咸淳末，播州領(lǐng)播川、樂(lè)源、綏陽(yáng)3縣，隸夔州路，今縣地時(shí)為播川縣。
元世祖忽必烈下詔招撫播州。至元十四年（1277），楊邦憲以播州、珍州、南平軍地降，仍置播州安撫司，以楊邦憲為紹慶、珍州、南平等處宣撫司充播州安撫使。楊邦憲卒，子漢英襲職，賜名楊賽因不花。二十八年（1291）升為播州宣撫司，隸屬于四川行省。次年，以赴京取道湖廣為便，改隸湖廣行省。宣撫司統(tǒng)轄黃平府、南平綦江、珍州思寧、舊州草塘等十九個(gè)長(zhǎng)官司和諸峒寨。時(shí)屬今遵義縣境有播州下轄之播州軍民都鎮(zhèn)撫司及烏江、水煙、石粉羅家永安等處的全部或部分。
明洪武五年（1372）初，改播州軍民都鎮(zhèn)撫司為播州長(zhǎng)官司，今縣地為播州長(zhǎng)官司地。萬(wàn)歷二十八年（1600）平楊應(yīng)龍，播州改土歸流，分播州地為二，設(shè)平越軍民府屬貴州，轄余慶、甕安、湄潭3縣和黃平州；設(shè)遵義軍民府屬四川，轄遵義、桐梓、綏陽(yáng)、仁懷4縣和真安州。今遵義縣境從此奠定。
清雍正六年（1728），遵義縣隨遵義府改隸貴州省。宣統(tǒng)三年（1911），遵義軍政分府成立。民國(guó)元年（1912），遵義府縣同城，留府去縣。民國(guó)2年（1913），遵義府改為遵義縣，屬黔中道。民國(guó)4年（1915），將所有遵屬大溪里第七、八、十三甲地，即后來(lái)仁懷所建的火石、學(xué)孔、林閣、平營(yíng)、高坪、銀水、龍?jiān)础⑿绿�、榮華、團(tuán)結(jié)、大壩11個(gè)鄉(xiāng)劃歸仁懷縣轄，以牛渡灘（今觀音寺河）為遵義縣、仁懷縣的天然邊界。民國(guó)9年（1920），廢黔中道，遵義縣直隸于省。1941年，實(shí)行新縣制，將縣轄?zhēng)r孔及偏巖河以南地劃歸新建立的金沙縣。1949年11月21日，遵義解放。11月25日，建遵義縣人民政府。同日，原屬遵義城區(qū)的文化、洗馬、豐樂(lè)、丁字、朝陽(yáng)、白農(nóng)6個(gè)鎮(zhèn)建為遵義市。1950年9月，甕安縣珠藏鎮(zhèn)、銅鑼鄉(xiāng)、高水鄉(xiāng)劃歸遵義縣轄，置二十一區(qū)，1951年7月交還甕安縣。
1951年2月，遵義市改置為遵義城關(guān)區(qū)，由遵義專員公署直轄。1952年7月，撤銷遵義城關(guān)區(qū)，恢復(fù)遵義市。遵義縣劃十六區(qū)、二十區(qū)和九區(qū)深溪鄉(xiāng)的鎮(zhèn)隆、長(zhǎng)嶺兩村隸遵義市。遵義市高橋、顏村、涼水、河溪4個(gè)鄉(xiāng)劃歸遵義縣轄。1954年4月28日，遵義縣人民政府機(jī)關(guān)由遵義市遷駐南白鎮(zhèn)。1956年8月，遵義縣高坪區(qū)的海龍鄉(xiāng)、新場(chǎng)鄉(xiāng)，南白區(qū)的建平鄉(xiāng)，老蒲區(qū)的禮儀鄉(xiāng)劃歸遵義市轄。同年11月，遵義縣茅坡區(qū)的歐家灣、麻家壩、洪家灣等地劃歸綏陽(yáng)縣轄。1958年11月12日，撤銷遵義縣建置并入遵義市。1961年8月16日，恢復(fù)遵義縣建置。1963年3月，遵義市忠莊、海龍、北關(guān)3個(gè)公社和南關(guān)公社的鎮(zhèn)隆、南山、長(zhǎng)嶺、金華、長(zhǎng)崗大隊(duì)，高橋公社的十字、八卦、巷口、第五、第六、第七、第八大隊(duì)，長(zhǎng)征公社的平莊、新民、民主、禮儀、河溪、官?gòu)d、板山、涼水大隊(duì)劃歸遵義縣轄，建為桃溪區(qū)。1965年11月，桃溪區(qū)所轄地域劃回遵義市。1969年12月，息烽縣烏江公社劃歸遵義縣轄，與三合區(qū)刀靶公社組建為烏江區(qū)。
1992年，全縣轄17個(gè)區(qū)，1個(gè)區(qū)級(jí)鎮(zhèn)，轄123個(gè)鄉(xiāng)，16個(gè)鄉(xiāng)級(jí)鎮(zhèn)，2個(gè)鄉(xiāng)級(jí)辦事處（南白鎮(zhèn)城區(qū)和郊區(qū)），729個(gè)村民委員會(huì)，27個(gè)居民委員會(huì)，8545個(gè)村民小組。是年9月，遵義縣“建鎮(zhèn)并鄉(xiāng)撤區(qū)”，全縣建36個(gè)鎮(zhèn)，2個(gè)民族鄉(xiāng)。國(guó)土面積5088平方公里，總?cè)丝诩s127萬(wàn)人。
1998年4月，遵義縣新蒲鎮(zhèn)、深溪鎮(zhèn)、金鼎山鎮(zhèn)劃歸紅花崗區(qū)管轄。2004年6月，遵義縣團(tuán)澤鎮(zhèn)、高坪鎮(zhèn)、泗渡鎮(zhèn)、板橋鎮(zhèn)劃歸匯川區(qū)管轄。
2009年5月，遵義縣新舟鎮(zhèn)由新蒲新區(qū)托管。2013年7月，蝦子鎮(zhèn)、三渡鎮(zhèn)、永樂(lè)鎮(zhèn)由新蒲新區(qū)托管。2015年，全縣31個(gè)鎮(zhèn)（鄉(xiāng)）國(guó)土面積4093.77平方公里，人口124.6萬(wàn)人。2016年1月，龍坑鎮(zhèn)由新成立的南部新區(qū)托管。托管不是行政區(qū)劃調(diào)整，只是由相關(guān)機(jī)構(gòu)代為管理。
2016年3月20日，國(guó)務(wù)院對(duì)貴州省人民政府《關(guān)于調(diào)整遵義市部分行政區(qū)劃的請(qǐng)示》（黔府呈〔2015〕31號(hào)）作出批復(fù)。根據(jù)批復(fù)，貴州省將撤銷遵義縣，設(shè)立遵義市播州區(qū)。山盆鎮(zhèn)、芝麻鎮(zhèn)、沙灣鎮(zhèn)、毛石鎮(zhèn)、松林鎮(zhèn)劃歸匯川區(qū)轄管。新舟鎮(zhèn)、蝦子鎮(zhèn)、三渡鎮(zhèn)、永樂(lè)鎮(zhèn)、喇叭鎮(zhèn)劃歸紅花崗區(qū)管轄。播州區(qū)轄南白鎮(zhèn)等21個(gè)鎮(zhèn)（鄉(xiāng)），國(guó)土面積2490.94平方公里。2016年5月，上述鎮(zhèn)劃出。2016年6月6日，播州區(qū)掛牌儀式在南白影劇院舉行，標(biāo)志著播州區(qū)正式成立。
