史萬歲為人豪邁大氣，楊集等人認為他在益州應該混得相當好才對，然而情況恰恰相反，史萬歲非但沒有混得好，反而是一天一天的數著日子熬過來的。
自上任至至，他就慘遭益州刺史府高層冷暴力對待。
說來，也怪不得其他人，要怪就怪他自己。
開皇十七年，史萬歲以為行軍總管的身份，率軍征伐反隋的昆州刺史爨翫，他們轉戰千餘里、破西南狼人30餘部，諸獠大懼，爨翫再度請降，但是爨翫不想隨軍入朝，便以無數金銀珠寶賄賂了史萬歲，於是史萬歲便放了爨翫。
史萬歲自恃高功，在昆州原地待命的時候，行為手段、行事作風，完全和滅了高昌國的侯君集一般，他不僅搶走爨翫、爨部的一切財富，還對昆州、恭州、協州、越巂四郡進行血腥般的洗劫。
時任益州大總管的楊秀，知其殘暴行徑、派人調查此事。史萬歲聞知此事，將所得財物全部沉於江底，楊秀毫無證據，只得作罷。
但是史萬歲的行徑卻使許許多多本來心向大隋的羌人、獠人恨烏及屋，不再相信朝廷，這也為爨翫再次造反、獲得強大兵力打下了堅實的基礎，當益州南部刀兵再起。楊秀再度彈劾史萬歲受賄縱賊、致生邊患、毫無大臣氣節。
楊堅下令嚴查此事，查對屬實，高熲和元旻見他乖乖認罪，便為他說情：“史萬歲才略非同一般，每次率軍作戰，身先士卒，又善於撫卹將士，大家樂意為他效力，即使是古代名將也難超過他。”一心想處死史萬歲的楊堅聽後，這才怒氣稍解，將他削官為民。然而不到一年時間，他又復出了，後來更是屁事都沒有了。可他在益州南部造下的罪孽、種下的惡果，卻由朝廷、益南百姓來承擔。
由於他嚴重“透支”了朝廷公信力，使那些最先十分安分的羌人、獠人不再相信朝廷政令和官員。
一旦有野心家煽動，益州南部的羌人和獠人便反反覆覆的降而復叛、叛而復降，而朝廷則是反反覆覆出兵平叛；雙方打殺了十多年時間下來，各自死傷巨大，地方民生和各種基礎設施受到嚴重破壞，同時還讓雙方的信任蕩然無存、進入了一個無法回頭的死衚衕。
至今，仇恨已經無法化解。
已近七旬的趙綽正直廉潔，並且在益州兢兢業業的奮戰了十八年時間，益州的繁榮安定離不開這位老人的心血和汗水；他認為益州南部的亂象“歸功於”史萬歲的血腥盤剝；而朝廷後續的損失是替史萬歲的貪婪還債，而枉死的無數軍民，全拜史萬歲所賜。
長史趙綽對史萬歲不滿、憤恨，司馬楊武通更勝一籌。
楊武是楊堅的族侄，擅長馳射、飽讀兵書，十多歲就跟隨楊堅上陣作戰，成了大隋開國名將之一，不過他雖然打了幾十年的仗，但今年只有四十八歲。和其他名將不同的是，他的戰場既不在北方、也不在南方，而是始終在西方。
開皇初，境外的拓跋赤辭的党項部、境內的拓跋寧叢的党項部，屢次襲擾境內外，楊堅因楊武通曆來有戍邊威名，便任命他為洮州（臨洮）、蘭州（金城）二州總管，讓他對付党項兩部。他曾多次率軍討伐党項兩部，每次都是大勝而歸。拓跋寧叢在開皇十六年降而復叛，再侵犯會寧，楊堅再次讓入朝為官的楊武通大破叛軍。
在與黨項兩部長期作戰的時間內，這位“老將”積累了豐富的山地、叢林作戰經驗；楊堅便將他調入山勢險峻、叢林遍佈的益州，讓他專門對付那些身在大山叢林中的獠人、羌人叛軍。他不負重望，每一次率軍出戰，都能立功歸來。
仁壽元年，益州南部獠人再次發生大叛亂，周法尚奉命前去平叛，但是由於周法尚初來乍到，對眉山地形不熟、對獠人的作戰方式十分陌生，初戰之時就吃了一個敗仗，楊武通率領幾千人馬切斷叛軍退路，出其不意，大破叛軍。
叛軍後來得
知楊武通孤軍作戰、後無援兵，於是又傾盡人馬前來圍殺，楊武通且戰且退，與敵鏖戰到了幾百裡之外，最後還是被叛軍團團圍困。身陷重圍的困境之中，他仍然毫無懼色、沉著應戰，終於等到了援軍。雖然他活了下來，但是隨他出徵的幾千大軍死了十之八九，他的兩個兒子和一些大隋將領甚至給叛軍“殺而啖之”。
等周法尚再次來戰、擊潰叛軍，他們才從俘虜嘴裡得知，叛軍首領原是越巂郡的一個漢人大家族，一家人本來安安分分的和親隋羌人、獠人做生意，可他們卻無辜的讓史萬歲冠上通敵之罪，落得差點滅族的下場，正是因此，他們才走上反隋道路。
這個原因，也讓痛失愛子、幾千將士的楊武通深深的恨上了史萬歲。
他認為史萬歲要是沒有那麼貪婪、要是沒有那麼自私自利，益州南部局勢絕不糜爛至此；他的兒子和幾千名年青、忠誠、勇武的大隋勇士，也不會死得那麼悽慘。
還有主薄郭行方，也有幾十個族人死在平叛的戰爭之中，所以他也十分不爽史萬歲。
所有這些人，要麼是益州本土人，要麼坐鎮益州很久的人。
這裡的每一寸土地，幾乎都有著他們的心血和感情，對於貪汙、破壞完了就跑的史萬歲，每個人都異常厭惡、異常怨恨。然而益州情況稍微好上一些，這個混蛋竟然又回來了。他們又怎麼可能給史萬歲好臉色看？但好在他們都是公私分明的人，在公務上，愣是沒人給史萬歲製造過麻煩，否則的話，史萬歲很難開啟局面。