任何一項全新制度的誕生，既得利益者都會為其保駕護航，誰想反對或是更改，都會遭到大家的反對；而反對者，則是一律反對它的誕生。
楊廣創立的十六衛府、刪減驃騎將軍府的政令也是如此，裴矩、高熲、蕭瑒、李子權等非關隴貴族出身的人，都是受益者，他們自然沒有反對的理由。而關隴系官員雖然利益受損，雖然都想跳出來反對，但此時的三大派各自為戰，他們建立起來的武川盟因為諸多原因，形同虛設；至於充當反隋急先鋒的元派更是因元氏的一而再再而三的慘敗、皇帝的著重打壓，陷入離心離德、人心各異的窘境，此時當關隴系將官見「諸公言有有理」、改革方案也已大勢已定，他們出於自身利益的考慮，便默然以對，使得楊廣的政策在一片「言之有理」之下，「諸公」只好都答應了。
但大隋王朝驃騎將軍府足足有七百多個，除了關隴貴族所掌控的大多數軍府之外，便是皇族和山東士族、關中士族、河東士族、中原士族、南方士族也掌控了一些，不管刪減哪個驃騎將軍府，都難以避免的觸及到一些政治大派的利益。
當百福殿「諸公」見此事不可違，心思也發生巨大的轉變，現在無論是哪個派系、哪個門閥出身的將官，都不再探討「十六衛府、刪減驃騎將軍府」的議案了，而是都希望朝廷刪減其他派系所掌控的軍府、都不希望朝廷刪減自己控制的軍府。
相對於雜念賊多的其他政治派系要員，楊集的心思，無疑是殿內最為單純的人。他身為皇族一員，個人利益與隋朝、楊廣始終是不可分割的一體，他的立場也始終站在代表楊家、代表隋朝利益的楊廣這邊；在考慮問題的時候，也始終以國家、以皇族為重。
他這種十分精準、十分純粹的自我定位，看似十分簡單，但只要是人，都有自己的交際圈子、都有自己利益訴求，因而在場的每個人雖然都明白箇中好處，卻始終沒有辦法做到這一步。
楊集做到了，因而不僅讓他和楊廣保持著高度同步，而最終，他成了楊廣最信任、最倚重的人，並獲得巨大回報。
「聖人，諸公言之極是。」放下手中茶杯，楊集目光望著楊集，嚴肅的說道：「諸公是五千多萬百姓挑選出來的精英、諸公是從五千多百姓中脫穎而出的人傑，他們言論代表了軍心、民意，不可不聽！」
百姓：「？？？」
我選誰了我？我自己怎麼不知道？我又怎麼可能選這些理當千刀萬剮的混蛋？
眾人：「……」
瞧你這話說的，「諸公」和「諸公言之極是」這一句話，是過不去了對吧？想那開國衛昭王楊爽是何等的豪邁、何等的氣吞河山，像他這樣的英雄人物，咋就生了這麼一個破玩意了呢？而這個破玩意這麼女幹詐，難道是完全繼承了商女幹獨孤敏的優良品質？
楊廣一正臉色，做出了一本正經傾聽的表情，沉聲問道：「那麼依衛王之見，府兵應當如何整改？又何處著手？」
「聖人，我結合諸公意見，得出以下結論！」楊集意味深長的看滿殿「諸公」一眼，接著又向楊廣說道：「七十多萬名府兵及其家屬和累計起來，少說也有四五百萬人，他們佔了大量良田美地、享受著免賦稅的優惠。若是需要他們作戰、他們真的作戰了，有此優待自也無可厚非，然而正如諸公所言，遍佈天下的軍府臃腫不堪，真正需要作戰的軍府少之又少。朝廷要想國強民富、進一步繁榮，刪減這些不用作戰、長期不戰的軍府和府兵，就顯得非常有必要了。但冰凍三尺非一日之寒，府兵自北魏至今，已有百餘年時間，其影響之大、根基之深、牽涉之廣，早已深入帝國的方方面面。貿然廢黜、刪減的話，必然引起很多人反對。」
大隋王朝立國不到三十年時間，各地人心未附，甚至一些地方對
隋朝充滿了敵意和排斥之心；而關隴貴族和關中、山東、河東、中原、南方士族等政治大派中的各大世家門閥在各地盤踞了幾百年、上千年，他們在地方上根深蒂固，影響力更是深入各行各業，它們在傳統勢力範圍之內說的話，遠比朝廷政策管用，要是它們這麼容易枯萎凋敝，又豈能活到現在？
一旦過度刺激他們，激起他們暴力反抗，勢必浩浩湯湯、驚天動地。所以楊集認為軍府的刪減方案，最好還是交給各大政治勢力制定，讓他們在博弈、妥協中形成，反而他們最後不管刪減軍府屬於哪個勢力的軍府，結果於國、於楊家都是好事一樁。
而楊廣身為裁判一般的皇帝，不要過度干涉他們、不要親力親為的插手刪減軍府等等改革方案，如果他們定下來的各種方案不好、亦或是針對楊家人和楊家人的勢力，大可不透過、不答應就是了。
「聖人，衛王言……嗯，臣附議。臣也認為此事應當循序漸進，既不能大刀闊斧貿然行事，也不能想做就想做；朝廷應當汲取軍改的經驗和教訓，事先先拿出一個周詳方案方可，最好是具體到刪減哪些軍府、怎麼刪減……。」說話的是蜀王楊秀，他從仁壽二年軟禁至今，足有五年時間沒有和外界接觸，對於當前時局瞭解並不多。不過楊廣向他和楊諒坦誠布公的交談之後，便讓楊秀和楊諒一起閱讀飽覽各種秘卷，使他和楊諒對當前大隋有了一個大致瞭解、也終於看到隋朝表相之下的洶湧暗流，他們此時對於大隋和楊家所面臨的艱鉅處境，唯有「觸目驚心、心驚膽戰」兩個詞。他倆未免父親一手創立的大隋王朝二世、三世而亡，都想為這個家族、為這個王朝出力。
比起造過反、不宜再冠冕堂皇出現的楊諒，楊秀實際上並沒有什麼大過錯；他之所以遭到軟禁，主要還是因為楊堅打算為楊廣鋪路、減少楊廣登基的障礙；楊廣恢復他的蜀王之爵、任命他為宗正寺卿，卻沒有遭到朝臣反對，也是因為楊秀沒做什麼天怒人怨的事兒。
楊秀本身就是一個文武雙全、智勇雙全的人，從他把益州和梁州治理得井井有條等事來看，即可看出他的能力、謀略並不弱於任何人；他近來廢寢忘食的惡補、以及楊集與「諸公」的明爭暗鬥，使他立刻就了一個精準判斷，並出言附和孤軍奮戰的楊集。
楊昭倒是很想出言支援，不過皇帝讓太子參政，並不是讓他分憂，而是希望他學習處理政事經驗、增長閱歷，為以後接班做好充足準備。其他皇族參政，則是皇帝要培養皇族裡的中堅力量，畢竟一個帝國想要長治久安，首先要有一個強勢和睿智的皇族；否則便會淪落為幹弱枝強、主弱臣強的窘境，而這樣的王朝，又豈能長久？
聽了楊秀的話，楊廣既感欣慰、又有些遺憾和哀傷。
楊秀雖然能力不錯，但是他人如其名，是一個比較秀氣儒雅、頗有隱士和君子氣質的人；如果論及能力的話，卻是遠遠不如楊俊。在他們兄弟五人當中，除了他楊廣之外，緊跟其後的便是與他關係極好、頗有楊集之風的秦王楊俊了；然而這樣一個出類拔萃的親王，最後卻讓自己的媳婦給毒死了。
仔細想一想，老三真是死得太不值得了。
其實在他們楊家，父輩中滕穆王楊瓚、開國衛昭王楊爽死得莫名其妙。前者和父親一起喝酒玩耍，回家之後隨即暴斃，人們都說他是被父親毒死；後者死得更是令人生疑，楊爽凱旋歸來，父親和母親高高興興的把他迎回大興城，父親讓他擔任門下省納言之職，根本就不是削他之軍權，而是父親精力不濟，希望弟弟坐鎮門下省，讓他幫助自己把好政令之關，然而這位當上納言不到三個月，卻忽然發瘋而亡，事後，人們竟然說他殺戮過重，被死去的突厥人陰魂索去性命。而在同輩中，能力十分出眾十分強悍的楊俊，竟然和叔父楊瓚十分類似，被毒死。
以上三者都是皇族裡的中堅之力，然而他們全部死在十分關鍵的時刻不說，而且死法都無法讓人信服，惡名卻是全部由父親來扛，這也未免太過巧合、蹊蹺了吧？
念及於此，楊廣忍不住看了左顧右盼的楊集一眼，一顆心忽然劇烈的震顫一下，暗自想道：「如果真是兩位叔父和弟弟死於陰謀，那麼下一個九成九就是這一位了。自己是不是要小心一點？是不是應該提醒這位也要小心一些？」
「聖人，茲事體大，不可擅動，事後理當做到周詳計劃，否則必將使軍改舊事重演，若是因此而造成政局動盪、天下動盪，那便得不償失了。」就在楊廣思緒紛至沓來之際，蘇威出聲道：「但是刪減軍府之事一旦圓滿完成，必然是一件名垂千古的功勳。衛王身為宰輔之首，于軍方之中更是威望絕倫，更為重要的是衛王對軍隊改革有著十分經驗，臣以為除了衛王之外，再也沒有人適合領銜改革了。」
「臣附議！」
「臣附議！」
「末將附議！」
「末將附議！」
各派將官紛紛起身附議。一時間，百福殿爭吵四起、熱門異常。
楊廣看著下方各派代表氣調一致，兩條劍收下的眸子閃了一閃，心頭卻是不由湧起一陣凜冽的顏顏冷意。
楊廣政治嗅覺十分敏銳，眼看著蘇威話裡有話、劍指楊集之後，各大政治勢力的代表卻罕見的達成默契！可見他們已經在對待楊集的問題上，達到了高度的共識。
簡而言之，隨著楊整合為尚書令，這些政治勢力代表盡皆感到一股龐大的壓力，都在擔心楊集入主中樞、成為事實上的百官之首，於是，各派漸漸形成一種共同的擔憂。
必須壓他一壓！
畢竟在他們看來，楊集除了在軍事上話事權極重之外，還有插手民政傾向，而他本人在中樞之中，又是檢校兵部侍郎、右衛上將軍；一旦他成功入主中樞，那麼他和身後的衛王系、皇族勢力必將大肆掠奪議事堂和三省六部、九寺、十二衛四府權力，所以就連裴矩、蕭瑒等與楊集關係親近的人，在對待楊集的問題上，也都予以預設，雖然他們沒有出聲贊成，可是他們卻也袖手旁觀、默然以對。
但是這些人又不能、不願、不敢與楊集直接發生衝突，唯一的選項也只剩下捧殺了。而此時此刻，他們看似好心、看似對楊集有信心，實則是希望楊集扛下刪減軍府這個涉及數百萬人利益的大事；最後要是鬧出什麼大問題，那麼楊集自然像當初的宇文述一樣，要站出來背黑鍋。