李淵召見他問哭的緣故，李世民對答說：“現在軍隊憑藉仁義起事，進戰則必勝，退還則軍隊必潰散。眾軍在前面潰散，敵軍在後面乘虛進攻，死亡馬上就到面前，因此悲痛啊！”李淵這才醒悟而停止回軍，雨止，李淵率軍奔赴霍邑。李世民怕宋老生不出戰，於是率領幾個騎兵先奔到城下，舉鞭指揮，好像要圍城的樣子，以激怒宋老生。宋老生果然被激怒，開門出兵，背靠城池扎陣，李淵與李建成在城東會合扎陣，李世民及柴紹在城南扎陣。宋老生指揮軍隊猛衝，首先直逼李淵，致使李建成墜落馬下，宋老生乘勢攻擊，李淵與李建成都退軍。李世民從南面率領兩千騎兵衝下高坡，沖斷了宋老生的軍隊，率領軍隊奮力攻擊，宋軍大敗，都拋棄武器而逃。此時霍邑的城門已經懸掛起來，宋老生拉住繩子想要爬上城，李世民趁勢斬了他，平定了霍邑。