隋文帝于开皇三年（583年）“罢天下郡”，实行以州领县的二级制，后来便很快推行到全国。但也带来了一个新的问题，这就是由中央政府来直接管辖全国二三百个州，实在是有困难的。所以，唐朝建立后，唐太宗便于贞观元年（627年），又将全国划分为10道，即关内、河南、河东、河北、山南、陇右、淮南、江南、剑南和岭南诸道。这10道共领府、州358个，县1551个。而每一道或置官，或不置官，所置之官也仅是监察性质。

至唐玄宗开元二十一年（733年），又改划15道，即将“山南”分为东、西二道关内“增置京畿道（治长安），”河南“增置都畿道（治洛阳），”江南分置东、西道和黔中道，共统府、州328个，县1573个。（见《旧唐书·地理志》）同时，开始在各道置采访处置史，其职权相当于汉武帝时的刺史。至此，道遂成为固定的监察区。

“安史之乱”后，又有了以掌兵权的节度使为地方行政长官的制度。节度使原为边地军事长官。唐玄宗开元、天宝间，仅有节度使10个，即河西、范阳、陇右、剑南、安西、朔方、河东、北庭、平卢、岭南。

后来，这种制度被滥用于内地，至肃宗时，节度使已猛增至44个（《旧唐书·地理志》），宪宗时增至47个。（《元和郡县志》）每一节度使都可管数州，其辖区也都叫“道”。这种道实际上已成为州以上的一级行政单位了。

唐代还有一种行政区划，就是唐玄宗所新开的“府”。玄宗开元年间，首先将国都附近的三个州改府，即升雍州（长安所在地）为京兆府，升东都洛阳所在的洛州为河南府，升北都晋阳所在的并州为太原府。“安史之乱”后，又把皇帝驻跸过的州升为府，如升荆州为江陵府、益州为成都府等。

至唐末，这类的府共有10个，即京兆（雍州）、兴德（华州）、风翔（岐州）、河南（洛州）、兴唐（陕州）、河中（蒲州）、兴元（梁州）、成都（益州）、太原（并州）、江陵（荆州）。后来，在一些比较重要的地区又设都督府，如扬州都督府、益州都督府等。此外，在边地还设过都护府。最早的是安西都护府，为唐太宗平定高昌之后所设。此后又陆续设有五个这样的都护府，即安北、单于、安东、安南、北庭诸都护府。（《旧唐书·地理志》）唐代边塞诗人岑参《白雪歌送武判官归京》：“将军角弓不得控，都护铁衣冷难著。”其所谓“都护”，即指这类镇守边疆的长官。

统观唐代的行政区划，除了继承前代的州、县外，唐太宗创“道”，唐玄宗开“府”，唐睿宗又把节度使变为正式建置（也称“道”），这样，便使唐代的行政区划又变为三级制。

北宋建立后，宋太祖、宋太宗实行中央集权，取消了节度使，让各州直接归属中央。但中央还是无法统管全国的州，所以又在州上设“路”。太宗至道三年（997年），始定天下为15路，至神宗熙宁七年（1074年），又增至23路。京畿所在的开封府不在23路之内。到徽宗时，改开封府为“京畿路”，遂为24路。这是北宋设“路”的大致情况。宋室南迁后，只存半壁江山，高宗绍兴十二年（1142年）便分为16路，后宁宗时又改为17路。

一般认为，宋代的“路”同于唐代的“道”，其实它们还是有所区别的。宋代一“路”不归一个机构、一个长官管辖，而分属于转运使（掌财赋）、提点刑狱（管司法）、安抚使（管兵政）等。每个机构只在它们所管的业务范围内举劾地方官，不能越权。所以宋代的“路”始终未能成为一级行政机构，只是介乎行政区与监察区之间的一种区划。这与唐代的“道”最后终于成为一级可总揽全权的行政机构不同。

两宋也还出现了一些新的行政区划单位，主要的是“军”和“监”。“军”在唐代是军事单位，称“军镇”，至宋则演变为地方行政单位。“监”是五代初出现的，最初是国营企业（如矿冶、铸钱、制盐、牧马等）的管理机构，宋时也演变为地方行政单位。领县的军、监与府、州同级，不领县的军、监与县同级。

辽、金的行政区划基本上也是以道、路辖州、县。辽袭唐制，分全国为五道，即上京道、东京道、中京道、南京道、西京道，合称“五京道”。每道有一个政治中心，称“府”。道下、县上的单位是府、州、军、城。金采宋制，分全境为20路（后并为19路），路辖府、州，府、州领县。