南北朝后期，北朝出現了“府兵制”。西魏的字文泰在大統九年（公元５４３年），廣泛招募各地漢族豪強地主從軍，通過他們的從屬關系，帶來了大量家兵、部曲等私人武裝。西魏政權根據他們所帶軍隊的眾寡，授予各種不同爵位。這種使地方割據的私人武裝中央化的辦法，不但增強了朝廷軍力，同時使鮮卑部落兵與漢族封建兵制逐漸結合，創置了“府兵制”。

    西魏末年，府兵由六個柱國大將軍率領，每柱國下設兩個大將軍，一個大將軍下又有兩個開府將軍，共有二十四軍。當時府兵與民籍分開，不屬郡縣管轄，他們只管打仗，不負擔其它賦稅。

    府兵制到了隋朝起了很大變化。軍府名稱為驃騎府，以驃騎將軍為長官。軍士開始編入戶籍，從事生產。隋煬帝時，府兵直接從民間征調，男子年滿二十一歲即可參加府兵。全國府兵由十二衛分領。大業三年（公元６０７年）改驃騎將軍府為鷹揚府。長官為鷹揚郎將。軍人稱“衛士”。衛府制度趨于完善，中央集權在軍制上得到加強。

    唐初全國共有六百三十四個府，均由十二衛和東宮六率分領。一改隋朝鷹揚府為折沖府，每府府兵歸折沖都尉管轄。并規定在設府的地方，人民有充府兵的義務。服役年齡是二十至六十歲．應征充當府兵的人，平日務農，農閑教練，征發時自備兵器、資糧。這實際上是一種兵農合一的兵役制度。證調服役的人，定期宿衛京師或戍邊；戰時出征，戰事完畢，即“兵散于府，將歸于朝”。