而此時李淵府外的王威兵丁，也在武士彠的帶領下，向李淵倒戈。
順利拿下了王威、高君雅二人，一眾人鬆了一口氣。造反之事，總算走出了第一步。
此時李淵又命李建成、劉文靜等人率軍接管全城，並急忙召集城中文武，宣佈“王威、高君雅私通劉武週一事”，並拿出了書信。
只是眾人都不太相信此事，各自生疑。
李淵還不敢扯旗造反，他尚未完全準備好。於是李淵又命劉弘基到城外，換上盜匪的衣服，偽裝成賊軍。
之前李淵羨慕突厥人騎**銳，便命長子李建成挑選善於騎射計程車卒二千人，讓這些隋軍士兵飲食起居完全同突厥人一樣，以訓練騎兵。
這兩千精騎，多從位於河東胡人中挑選，勇猛善戰，且性格剽悍，這一次正好讓他們扮做突厥人的樣子，恐嚇太原城中文武。
於是到了兩日之後，晉陽城外突然出現了一支胡漢聯軍，其隊伍雄壯，旌旗蔽日，人馬一眼望不到邊際。
眾人大懼。因為不清楚城外軍隊的底細，更是不敢出戰。
李淵命令裴寂等人率兵防禦，又下令把全部城門開啟，裝作人馬眾多的樣子。城外的突厥人似乎是因為不知虛實，不敢進入。
晉陽城一時稍安。
突厥人兵臨城下，這時再無人敢質疑之前王威、高君雅私通突厥的事情。李淵也趁機殺人滅口，以警示眾人為由，下令將二人斬首示眾。
高君雅至死罵不絕口。
殺了王威、高君雅二人，李淵還不放心，因為二人在太原郡經營日久，心腹眾多。現在因為突厥入寇的原因，暫時向李淵屈服，但只要李淵宣佈起事，這群人必然倒戈。
這些人不能留。
於是李淵又命王威手下大將王康達率領千餘王、高二人的嫡系部隊出城迎戰。王康達雖然不願，可沒有辦法，只得率兵出城。其部千餘人雖然皆是精銳部隊，但還是不如李淵的精騎善戰，於是其部在城外全軍覆沒。
王康達死後，闔城皆驚。
李淵在夜裡派軍隊悄悄出城，早晨則張旗鳴鼓從別的道路上開來，好象是援軍來到了一樣。
對方似乎也為隋軍的動作驚到，很快便退了。
經過這番自導自演的突厥入侵，李淵除掉了太原城中所有的反對勢力，同時收攏了人心。
李淵又下令，天子敕命，調太原、西河、離石、樓煩四郡年在二十歲以上、五十歲以下的人全部充作役夫，並年底在洛陽集合。
老百姓對此早就畏懼、仇恨，因此人情洶洶，思亂者益眾。
李淵便讓人開倉賑濟貧民，公開募兵。同時向北聯絡劉武周，向南聯絡李密等人，準備正式扯旗造反。