大谷關內，呂布的心態徹底崩塌了，胡軫明哲保身，徐榮力有不逮，這讓他相當絕望。武將立身於亂世，非是憑著一顆忠勇敢戰的心即可。這一點呂布非常清楚，對他而言，他並不是董卓涼州一脈的嫡系，假如沒有幷州精銳在側，那他的地位將大大降低，最終淪落為徐榮這樣只能仰人鼻息的角色。到時候不論是老一代的中郎將段煨、胡軫、牛輔、董越等人，還是新生代的實力派李傕、郭汜等人，都會躍居於他之上。
呂布絕不會接受這樣的命運。
方天畫戟揮舞出的光芒中，包含的不單單是武者揚名四海的決心，還有他那顆不甘居於人下的野心。
遂召開軍議，呂布向諸將說道：“魏越戰死沙場，我深恨之。可惜如今曹操、許褚攜強兵臨關，胡軫匹夫推諉不救，非是我等意氣用事的時候。有道是：君子報仇，十年不晚。今日召諸君過來，便是商議退軍之事。”
諸將都同意呂布的說法，他們安身立命的資本跟呂布一樣，都是麾下這支幷州精銳，怎捨得讓他們戰死在大谷關上。
諸將中，河內人郝萌私曲較多，向來比較有發言權，他說道：“將軍所言極是，然相國之令言猶在耳，若這般棄了大谷關，怕是會被責難。”
呂布恨聲道：“如今相國環伺皆敵，便死守關隘十日，怕也等不來洛陽援兵......，日前我從李肅處得知，袁紹屯兵臨河，見伊闕、大谷兩關戰事焦灼，已增派了數千兵力，此等情形，相國怎會輕易派重兵馳援大谷。”
“不僅如此。”魏續忽然說道，“我聞牛輔率兵兩萬馳擊白波軍，不能致勝，相國更加不會派兵增援了。”
郝萌便道：“既然這樣，我有一計。”
呂布疑道：“君且說與我等聽聽？”
“且固守數日，然後撤回洛陽。”
“......未嘗不可。”
郝萌的意思，直接撤退恐遭董卓責難，那就先守一守，做出一副‘盡心盡力’的樣子，然後再退。
眾人皆覺有理，呂布就此拍板。
......
戰事打響，曹操派樓異率五百死士先攻，按照戰前的部署，又命軍士在關前開始挖就壕溝，高壘土丘，許褚則派人砍伐樹木，隨時準備搭建望樓。
樓異帶著士兵扛著浮橋、雲梯冒著箭雨來到關下，旋即就遭到了檑木、熱油等物的攻擊。那些煮沸的熱油混雜著許多人畜的糞便，毒性極烈，士卒一經沾身，當時喪命的還是運氣比較好的，少了後續的許多折磨。兩個時辰打下來，沒有一個士卒能夠攀登上關頭，在後方督戰的曹操見狀鳴金收兵。
曹操攻了一陣，換許褚攻。
如法炮製地攻了整整一天，壕溝跟土丘都初具規模，於是在夜裡，許褚派人在夜色的掩護下搭建望樓。
翌日一早，攻勢繼續，呂布照例來到城頭巡視，卻赫然發現關外立起了數個高度比大谷關的高牆還高的望樓，不由大驚。這些望樓搭建的簡陋，實際上呂布此時派兵出關，不計代價地衝過來，是可以拔掉這些望樓的。
張遼、高順都建議呂布這麼做。
呂布本不願答應，但為了把戲做足，讓董卓知道他是用心守關的，便讓高順帶一百死士出關。
一百死士去衝許褚跟曹操佈置的已經像模像樣的前沿陣地，換做其他將領，誰願意幹這吃力不討好的活，也就是高順了。
當然結果也是顯而易見的，高順不但沒有毀掉望樓，只出關幾十步，就被箭矢給射了回來。