面對突厥人的包圍，隋軍上下驚懼恐怖。宇文述此時為武將之首，負責指揮諸軍。他下令拆毀民房，用作守衛城池的材料，導致突厥人還未發起攻擊，人心已亂。
而且最重要的問題是，整個雁門城突然湧入大批的人畜，使得本就不大的城池變得異常狹窄，各種儲備物資也不足。此時整個雁門城中有軍、民十五萬人，糧食僅夠供應二十天。
從在長城之外發現突厥人，楊廣準備率軍返回，他便第一時間想到了黃明遠，並派人五百里加急趕往遼東，徵調黃明遠前來代北救駕。但從代北到遼東，一來一回四千裡地，根本是遠水解不了近渴。
楊廣進關之前，也只是通知朔州總管王仁恭和代州總管範安貴二人接應，卻並未來得及往太原派遣援兵。
此時王仁恭兵敗返回善陽，而範安貴則和楊廣一同被圍困在雁門城中。整個大隋朝廷失去了與外界的聯絡。
突厥人來的很快，始畢可汗聽聞阿史那思摩將大隋天子楊廣包圍在雁門城，立刻驅兵數萬趕來。他又聯絡同羅部，讓同羅斜也從雁門東北面方向進擊，雙方一左一右，在雁門城下會師。
此時北地武備廢弛的壞處體現出來了，整個總管府不過是一萬多人，各城不過是幾十到幾百人，因此整個馬邑、雁門二郡四十多處關卡、城池，盡為胡人所破。只有雁門、崞縣、善陽等幾處要地控制在隋軍手中。
六月十五日，始畢可汗終於從北面趕來，率領主力部隊到達城下。十多萬軍隊將整個雁門城圍的水洩不通。站在城頭往外瞭望，盡是人山人海。
從十二日到十五日，整整三日的時間，阿史那思摩手中不過只有萬餘騎兵，實力並不強。而在這三日，隋軍為阿史那思摩偽裝的大股主力所驚嚇住，不敢輕易突圍，最終喪失了絕佳的突圍時機。
等到突厥主力趕到，將雁門圍的嚴絲合縫，城中的隋軍根本沒有一丁點突圍的機會了。
始畢可汗到達城外，望著城頭上驚慌失措的隋軍。十多年了，他終於將隋軍踩著腳下，這種感覺，別提多舒服。
楊廣雖然被包圍，但城中尚有數萬軍隊。始畢可汗擔心夜長夢多，便下令軍隊當日便進行攻城。
突厥騎兵沒有足夠的攻城武器，但是他們卻有攻城的妙法。
大隊的突厥騎兵衝殺到城門前，然後向城頭拋射羽箭。胡虜擅長騎射，大批的箭矢射入城中，整個城頭箭如雨下。
楊廣本來帶著侍衛來到城頭，希望可以鼓舞士氣。
不過他雖然也曾領兵南滅陳國，北破突厥，但都是名義上的主帥，並不需要他操太多心。而且這幾年楊廣沉浸於酒色之中，當初的英雄氣概早就被酒色掏去了。
楊廣帶著人靠近城牆，而城下弓矢密不透風。
此時突厥人的羽箭射到楊廣的面前，嚇了楊廣一跳。若非親衛護住楊廣，楊廣幾乎要被射死。
自此之後，楊廣再不敢登上城頭。
面對這困守孤城的局面，楊廣脆弱的心理防線幾乎崩潰，他只得抱著小兒子趙王楊杲哭泣，眼睛都哭腫了。