杜伏威在江都安下了無數眼線，當隋軍一出兵，他很快便收到了飛鴿傳信，也立刻料定隋軍要繼續打擊自己了，在隋軍騎兵過六合縣時，杜伏威就接到了第二封鴿信，結合隋軍大船入江，他終於能判定隋軍這次出擊的目標，一定是歷陽郡。
杜伏威為了給隋軍當頭一棒，他親率大軍在桃葉山佈下埋伏，可惜驛丞不得力，沒有把隋軍騎兵全部引入埋伏圈，使他戰果不顯，只殲滅了百名取水的隋軍騎兵。
杜伏威目光兇狠地望著遠處，良久，他惡狠狠下令道：“全軍北撤，去鍾離郡！”
一萬大軍調頭離開了桃葉山，向北方的鐘離郡撤去.......
三天後，隋軍船隊抵達了歷陽郡，長江南岸是丹陽郡的江寧縣，長江北岸則是他們這次出征的目標，杜伏威設在歷陽郡的老巢。
房玄齡匆匆來到張鉉的船艙前，他低聲問門口親兵道：“將軍怎麼樣了？”
昨晚他們接到裴行儼的急報，騎兵在桃葉山遇伏，陣亡騎兵九十七人，一直對張鉉忠心耿耿的騎兵偏將陳旭也不幸在伏擊中陣亡，這對張鉉打擊很大，眾人都不敢相勸，只能等他自己平靜下來。
親兵悄聲道：“還好，已經恢復正常了。”
這時，船艙裡傳來張鉉的聲音，“是軍師嗎？請進！”
“正是卑職！”
房玄齡走進了船艙，只見張鉉正坐在小桌前細看一張地圖，房玄齡從地圖輪廓，推斷出張鉉是在看歷陽縣一帶的地形圖。
“軍師有什麼事嗎？”張鉉收起地圖笑問道。
雖然陳旭和騎兵弟兄陣亡給他一個沉重打擊，但張鉉畢竟是從血腥戰場上殺出來的主帥，對生死看得並不重，他已經恢復了常態。
“將軍，斥候帶來最新情報，現就在外面等候。”
“帶斥候去軍議艙！”
不多時，一名斥候快步走進軍議艙，上前單膝對張鉉稟報道：“啟稟將軍，我們找到了位於六合山南麓的賊軍老巢，但現在只剩下一片被大火燒燬的廢墟，賊軍已經撤離了，帶不走的糧食也被他們全部燒燬。”
這個結果在張鉉的意料之中，杜伏威既然伏擊了隋軍騎兵，就說明他們已經知道自己到來，要麼積極備戰，要麼就撤退，看來杜伏威選擇了後者。
儘管張鉉料到杜伏威可能會撤走，但當這個訊息真的到來時，張鉉心中還是感到異常憤怒，那意味著他暫時無法為自己死去的弟兄報仇，他的臉色陰沉得十分難看。
軍議艙的將領們面面相覷，他們還是來晚了一步，杜伏威居然知道隋軍到來，提前撤走了，他們下一步怎麼辦？
這時，張鉉冷冷令道：“船隊繼續南下，去歷陽縣！”
旁邊參軍裴弘勸道：“恐怕羅柱山那邊的賊軍也撤退了。”
張鉉哼了一聲，“我不是去打賊兵，我要去拜訪歷陽太守，看看他給我一個什麼交代？”
房玄齡暗暗嘆息一聲，他明白張鉉的用意，如果張鉉決定對江淮官府下手，恐怕他是要接受江南士族，和江淮士族對立了。
.......
歷陽縣是歷陽郡郡治，也就是今天安徽和縣，是一座位於長江北岸的大縣，有人口近二十萬，尤其採礦業發達，由於歷陽也是大隋重要的鐵礦和銅礦產地，生活在歷陽縣的礦工足有一萬八千餘人，加上他們的家眷，在歷陽縣僅靠鐵礦為生的人就有七八萬人之多。
由於歷陽郡北靠江都，緊鄰長江，和江寧縣隔江相望，歷陽郡便成為了杜伏威的核心統治之地，歷陽縣在某種程度上也成了杜伏威的都城。
雖然杜伏威縱橫江淮，但他和青州及河北的亂匪不太一樣，他沒有據城而守，且兵力分散江淮各地，歷陽郡名義上依舊是隋朝的郡縣，太守也年年向吏部提交述職報告。