百福殿偏殿，君臣繼續談話，議題仍舊與府兵有關。其實早在開皇十年，楊堅就對大隋軍隊和府兵進行了一次大改革。楊堅之所以在這時候改革軍事制度，是有周到考慮的，因為在此之前要加強軍事力量，完成統一全國的大業，不便匆忙改革軍制，以免影響統一大業的順利進行，南陳現在亡國了、國家統一了，楊堅認為很有必要裁減軍隊、休養生息。
楊堅於是下詔說「魏末喪亂，宇縣瓜分，役車歲動，未遑休息。兵士軍人，權置坊府，南征北伐，居處無定。家無完堵，地無包桑，恆為流寓之人，竟無鄉里之號。朕甚閔之。凡是軍人，可悉屬州縣，墾田籍賬，一與民同。軍府統領，宜依舊式。罷山東、河南及北方緣邊之地新置軍府。」
這道詔書回顧西魏、北周實行府兵制以來的歷史背景，並在新的歷史條件下對府兵進行改革，令府兵士兵「墾田籍賬，一與民同」，使府兵與農民同屬州縣，並從法律上將兵民分治改為軍民結合，最終完成了兵農合一，使府兵制與均田制結合起來，成為均田制度下的軍事制度。而在府兵的統帥方面，楊堅又沿用西魏、北周的十二大將軍遺制，以十二衛為中樞掌管軍事的管理機構。
十二衛分掌天下府兵、十二衛大將軍為府兵最高將領，皆直接隸屬於皇帝。十二衛大將軍雖然是從西魏、北周的十二大將軍之制演變而來，但是在楊堅手上又有重大改革：一是將禁兵、常備軍納入十二衛系統，通稱「禁衛兵」，從而與西魏和北周時期府兵、禁軍各自成為一體有所不同。二是把西魏和北周時掌握軍隊實權的上柱國、柱國、上大將軍、大將軍、大都督、都督等等職務變成有名無實、高高上在的勳官，實際上是剝奪了他們的軍權，從而使天下軍隊直接由皇帝掌握；雖然這是表面上的軍權歸中樞、實際並沒有將軍權全部收回，可卻形成了一套完善而高效的軍事管理政策，從而使大隋軍隊體系得到了規範。
這項重大的改革，在當時雖然表面大於實際，但是楊堅對府兵的改革、新體制的建立，卻使府兵制和均田制緊密地結合起來，落實了兵農合一，而大隋王朝的武裝力量也得到加強；在制度上，也實現了軍事統率權集中於皇帝一人的目的，為日後的步步為營打下了基礎。而楊堅所打下的政策基礎，又被楊廣繼承和進一步創新。
楊廣平定楊諒之亂、坐穩皇帝寶座以後，許多與楊諒眉來眼去的關隴貴族子弟都遭到了清算，而他們的家族生恐楊廣對他們算總賬，盡皆人心惶惶、驚惶失措，甚至有些人暗中聯手，企圖用暴力手段與楊廣抗衡；然而佔據主動的楊廣在這個時候，卻忽然戛然而止。把清算轉成軍事上的改革。
他不再刺激那些在威壓下即將暴力的關隴貴族，而是在大業元年對官制進行轟轟烈烈的大改革，軍事上的十二衛上將軍、大將軍如同三省主官一樣，盡皆被他給虛化了，實權分別落到各衛的左右將軍手上。當然了，楊廣也不是全部虛化乾淨，比如說兼任左候衛大將軍的兵部尚書段文振、李景、來護兒、吐萬緒等心腹大將，仍舊是名符其實、大權在握的大將軍；便是楊集的右衛上將軍之職也是一個實職，只不過楊集長期在涼州任職，自己又不想管中樞軍隊，故而被他自己給虛化了。
關隴貴族各個門閥整體實力雖然強大，但是他們沒有一個有能力駕馭一切的領袖，便處於一盤散沙的局面，當三大派各大門閥眼見楊廣沒有進一步的清算意思，便預設了楊廣的改革。而楊廣當年受限於緊張時局、同時又要遷都，便沒有進一步刺激關隴貴族，所以他正式確立的十二衛四府制和楊堅的軍改一樣，同樣是流於表面、並沒有落實到位，甚至就連具體的職責和職權範圍也沒有明確起來。
但是大業元年借勢創立的「十二衛四府制」這項制度，卻如同溫水煮青蛙一般，早已被人們授受，
朝堂上的重臣、地方上的將領對些，也早已習以為常了。
鑑於原十二衛府的上將軍、大將軍、將軍品級高得不正常，楊廣便又採用了「改州為郡」的辦法，把左右衛改為左右翊衛、左右備身府改為左右驍衛、左右武衛府改為左右武衛、左右領軍府改為左右屯衛、左右武侯府改為左右侯衛，加上新增的左右御衛，合稱十二衛；而四府則為左右監門府、左右備身府（原左右領左右府）。
而在更名契機，「新」成立的十二衛四府的上將軍品級從從一品調為從二品、正二品大將軍調為正三品、從二品將軍調為從三品，下面的中郎將、郎將品級也各降一級。與此同時，十二衛四府的職權範圍也被他藉機明確了，此後的十二衛分領天下府兵，而且十二衛「嫡系軍」還肩負著宿衛京城的使命，至此以後，十二衛和皇帝掌控的驍果軍正式進入居中御外、衛戍京師的階段。
至於四府則不統府兵，他們主要是環繞在皇宮四周、保護皇帝和皇宮的安全，其中的左右備身府負責侍衛皇帝、左右監門府分掌宮殿門禁，加上兼領「內軍」（親、勳、翊三衛）的左右翊衛，日後的「四府兩衛」構成皇帝嫡系中的嫡系。
與十六衛府職能相類似的是負責東宮宿衛、聽命於太子的十率，東宮十率分別是左右衛率、左右宗衛率、左右虞侯率、左右內率、左右監門率，每一率的常備兵力定額是三千人。前面的六率和十二衛一起，分掌天下六百五十七個軍府的府兵。
而東宮十率經過楊廣這麼一安排，楊昭這個太子的軍權比起前太子楊勇和楊廣都要重。這其實也是楊廣鑑於自身成長所給予太子的鍛鍊的機會，要是太子連兵都不會帶，日後如何繼承大隋江山？又如何制約得那種桀驁不馴的將軍？
聽完楊廣提出的整改方案，包括楊昭在內的所有人，全都不約而同把目光看向了楊集，認為又是他所折騰出來的方案。
迎著一雙雙看過來的眼睛，楊集心說關我卵事啊！不過他也知道自己臭名遠揚，哪怕出聲否認，想必也是沒有人相信。
然後他也索性和大家一樣，擺出一副驚訝表情。
事實上，楊集也蠻驚訝的，從今天早朝以及剛才的表現來看，楊廣這些改革分明就是臨時起意的手筆，然而就在這個短短的時間之內，他竟然立刻拿出一個十分完善的方案，他這份心智和急智，著實是讓人佩服之極。當然了，楊廣也許早就有了這個打算，只不過缺乏的是一個宣佈的契機，而現在，顯然是正當其時。
正如楊集所料，楊廣覺得單靠十二衛府遙指天下府兵是不夠的，而且「十二衛府」職權不太明確、各自掌控的軍府過多，這很不利皇權的穩定，於是決定正式把「十二衛府」增改為「十六衛府」。而經過他這麼一改、一明確，那麼四府就正式從十二衛剖離出來了。
事實上的八衛管天下府兵的實情，也因此暴露於大眾之下。在這時候，他再增設左右御衛、拆分原左右領左右府、擴大東宮六率的權力，那麼府兵的頂級機構就等於多出十個。
裴矩暗呼一聲「厲害」，楊集僅僅只是提出府兵的優劣之處，皇帝便立刻窺準時機，以「新」成立的「四衛府」、「東宮六率」來分「八衛」的軍權，掌管府兵的軍權也從之前的八份分成十八份。日後的東宮六率所掌管的驃騎將軍府或許不如十二衛多，然而即便是各掌三五個，那也是奪了權的。而太子一旦正式接手那些統轄下的驃騎將軍府，他又怎麼可能不把驃騎將軍、車騎將軍換成自己人？
只要太子和他的幕僚深諳皇帝之意，提議把驃騎將軍、車騎將軍換成非關隴貴族將領，那麼對於關隴貴族而言，就是巨大的損失。
「對於十二衛、東宮六率掌控府兵之事，諸卿可有話說？」楊廣見到大家都在默默的思索
著，便出聲問道。
「聖人，臣十分贊成，並無絲毫異議。」這裡並不是正式的朝堂，更沒有什麼品級高先發言的講究，眼看著高熲有說話的打算，裴矩便站了起來，他先是認同了楊廣的設想，接著又說道：「正如衛王之前所言，騎騎將軍府吃空額、騙賦稅之事，比比皆是；而造成這個問題的關要是驃騎將軍府過多、分得過散，居中坐鎮、遙掌天下府兵的八衛出現紕漏、無法兼顧全域性，其實是件很正常的事情。然而對於朝廷來說，卻不是什麼好事。所以日後用十二衛、東宮六率掌管天下府兵，誠乃利國利民之事。」
眾將官聞言，盡皆無語：「……」