送走了啟民可汗和義成公主，隋煬帝沒有回長安，而是走太原，繞道東都，到了洛陽的時候，已經是九月。一到洛陽，就宣佈齊王楊暕改任河南尹、開府儀同三司，原來太子楊昭的二萬多人也劃歸楊暕，獨狐篡交了兵權，還是回長安負責軍工，李渾以右驍衛將軍領太子宗衛率。
楊崇也被兵部派回長安，兵部尚書段文振和兵部侍郎明雅隨楊廣在外，長安和洛陽的兵部如同擺設。兵部共設有十位主事，其中兵部主事四人，職方主事二人，駕部主事二人，庫部主事二人；在洛陽由庫部侍郎裴弘策負責，兵部、職方、駕部、庫部還各留主事一人，而長安只有兵部主事元無竭一人，負責整個兵部的運作。
楊崇以兵部主事的身份回去，排在元無竭之後，只是為了堵住某些人的嘴，表示兵部還是重視長安的；實際上，兵部尚書段文振說得很清楚，楊崇回長安只要做兩件事，一是儘可能整理西域的情報，二是再琢磨些裝備。楊崇意外地是，自己離開洛陽的時候，在城門口除了宇文愷和工部尚書衛玄，柱國大將軍麥鐵杖竟然也跑來給自己送行。
麥鐵杖是始興人，勇猛而有膂力，少年時能日行五百里，據說跑起來可以趕上奔馬，為人粗獷放蕩且好酒，喜歡結交朋友；做賊被南陳廣州刺史歐陽頠俘獲後，麥鐵杖淪為朝廷的奴僕，專給陳後主撐傘。隋滅陳後，麥鐵杖轉入大將軍楊素軍中，屢立戰功，開皇十六年徵召為車騎將軍；隋煬帝即位，麥鐵杖征討漢王楊諒有功，任柱國大將軍。
楊崇和麥鐵杖在榆林城就是舊識，但是並不是很熟，麥鐵杖扇動著巨掌，拍在楊崇肩上說：“好小子，在榆林做得不錯，回到長安小心一點，你現在可是別人的眼中釘。”
楊崇忍著疼痛，咧咧嘴說道：“麥將軍，輕一點。多謝你的好意，只是聖意難違。”
衛玄聽出楊崇的那一絲無奈。榆林城發生的事情所有人都清楚，楊崇的做法平息了一場政治風波，隋煬帝楊廣高興之餘，也沒有追究對手；但是蘇威等人依舊認為，如果沒有楊崇的節外生枝，他們會讓宇文化及兄弟丟掉腦袋，甚至能讓宇文述丟官罷職，逼迫隋煬帝楊廣在政治角逐中作出讓步。
這種差異同樣在定向貿易這件事上，與咄吉世的貿易對中樞有利，但實際上是搶走了士族和咄吉世之間的走私生意，也正是因為這個原因，在中樞內外的壓力下，隋煬帝楊廣和兵部尚書段文振只好同意調楊崇回長安，讓裴矩負責對塞北的運籌。軍方對此的態度是截然相反，如果楊崇操作，十六衛的將領們多多少少都分點利，在裴矩的手上，連段文振和明雅都是憂心忡忡，麥鐵杖來送楊崇，就是軍方發出的一個不滿訊號。
麥鐵杖分明聽懂了楊崇的潛臺詞，哈哈大笑；宇文愷在大眾之下，反倒沒有多說話，只是禮節性地拱拱手，楊崇在洛陽住在宇文愷家，師兄弟要說的話要做的安排早就商議好。楊崇和眾人行完禮，翻身上馬，隨換防的禁衛軍奔騰西去，這幾個月在兵部，楊崇唯一進步迅速的就是騎馬技術，基本上能跟上大隊的行動。
到達長安，楊崇到留守的尚書檯報了個備，請了五天假，連兵部都沒去，就很乾脆地回家了；楊崇的打算很簡單，先歇個幾天再說。楊崇到家才知道楊六和楊九在崔家作坊幫忙，到現在也沒回來；楊三、楊四、楊七、楊十在鐵匠鋪幹得不錯，韋隆已經開始教他們武功；楊一、楊二、楊五、楊八被安排到宇文作坊學木匠和雜藝，韋橫在那裡盯著。
韋雷每過十天半個月，都會去各處看看，包括農莊李春那兒，情況都不錯。不過韋雷彙報完，沒有一點要走的意思，帶著點訕笑站在那裡，楊崇很奇怪，問道：“還有什麼事？”
韋雷吱吱唔唔半天才說，上次去宇文作坊，宇文虎問了一件事，韋雷三人是不是原來就姓韋？韋雷一開始沒弄懂，過了幾天才反應過來。宇文虎的意思很明瞭，韋雷他們要是原來就是姓韋，倒也沒什麼，如果是韋家賜姓，那麼都到楊家幾個月了，韋雷三人應該到考慮改姓的時候。不過這種事，韋雷還真做不了主，所以就看楊崇的態度。
楊崇到隋朝已經有一年多的時間，知道這賜姓是一種認同的象徵，只是楊崇並不認同奴籍，所以心中一直有個想法，希望韋雷等人脫離奴籍；楊崇於是問道：“你們三人的意思，是改回原姓，還是要姓楊？另外，你們考慮過換籍沒有？”
韋雷急忙跪下答道：“我們是自願入奴籍的，絕沒有換籍的想法，我們加入韋家的時候，已經拋棄了原來的姓氏，也不準備改回去，家主如果同意，我們希望姓楊。”
楊崇點頭道：“我沒問題，只是你和韋橫家中的其他人怎麼辦？”
韋隆夫妻倆帶兩個小孩，改姓楊沒問題；韋雷家除了三個小孩，還有老父親和一個弟弟、一個妹妹；韋橫一家三口外，帶著兩個十來歲的妹妹。韋雷很欣慰，楊崇沒有大家族的那種囂張，很考慮實情，拱手答道：“韋橫希望兩個妹妹姓楊，我和家父商量過了，他老人家同意改姓。”
楊崇對這些事可有可無，特地召集了所有人仔細問了一遍，確定沒問題，才讓韋雷準備契約，到官府做了備註。楊崇又和楊雷、楊橫、楊隆商量，家中的小孩都要識字，學費楊崇包了；不過在女子讀書的問題上，雙方爭執得很厲害，最終楊崇拿出家主的身份，楊雷三人才偃旗息鼓。
不過楊崇還是遇到了問題，長安的私塾不收女生，大戶人家的小姐都是請先生到家裡去教，楊崇沒有被這點小事難倒。楊雷的弟弟楊霆身體瘦弱，讀過私塾，現在被楊雷安排在府中機會記賬、打雜，楊崇便把女孩子認字的事交給楊霆，規定楊家每個女孩子必須認六百個字，每教完一個女生，按私塾的學費標準，付給楊霆二兩銀子的報酬。
大隋很少有人家給奴婢付報酬的，楊雷和楊霆大為意外，正待推辭，楊崇正色道：“楊雷，看你這樣子就不是個好管事，你以為我就現在這點家業？我是在給你們立規矩，要逐漸地讓每一個幹活的人都有工錢，免得以後家大業大的時候亂來。”
楊崇一槌定音，楊雷兄弟不敢、也不願反對。