史万岁为人豪迈大气，杨集等人认为他在益州应该混得相当好才对，然而情况恰恰相反，史万岁非但没有混得好，反而是一天一天的数着日子熬过来的。
自上任至至，他就惨遭益州刺史府高层冷暴力对待。
说来，也怪不得其他人，要怪就怪他自己。
开皇十七年，史万岁以为行军总管的身份，率军征伐反隋的昆州刺史爨翫，他们转战千余里、破西南狼人30余部，诸獠大惧，爨翫再度请降，但是爨翫不想随军入朝，便以无数金银珠宝贿赂了史万岁，于是史万岁便放了爨翫。
史万岁自恃高功，在昆州原地待命的时候，行为手段、行事作风，完全和灭了高昌国的侯君集一般，他不仅抢走爨翫、爨部的一切财富，还对昆州、恭州、协州、越巂四郡进行血腥般的洗劫。
时任益州大总管的杨秀，知其残暴行径、派人调查此事。史万岁闻知此事，将所得财物全部沉于江底，杨秀毫无证据，只得作罢。
但是史万岁的行径却使许许多多本来心向大隋的羌人、獠人恨乌及屋，不再相信朝廷，这也为爨翫再次造反、获得强大兵力打下了坚实的基础，当益州南部刀兵再起。杨秀再度弹劾史万岁受贿纵贼、致生边患、毫无大臣气节。
杨坚下令严查此事，查对属实，高颎和元旻见他乖乖认罪，便为他说情：“史万岁才略非同一般，每次率军作战，身先士卒，又善于抚恤将士，大家乐意为他效力，即使是古代名将也难超过他。”一心想处死史万岁的杨坚听后，这才怒气稍解，将他削官为民。然而不到一年时间，他又复出了，后来更是屁事都没有了。可他在益州南部造下的罪孽、种下的恶果，却由朝廷、益南百姓来承担。
由于他严重“透支”了朝廷公信力，使那些最先十分安分的羌人、獠人不再相信朝廷政令和官员。
一旦有野心家煽动，益州南部的羌人和獠人便反反复复的降而复叛、叛而复降，而朝廷则是反反复复出兵平叛；双方打杀了十多年时间下来，各自死伤巨大，地方民生和各种基础设施受到严重破坏，同时还让双方的信任荡然无存、进入了一个无法回头的死胡同。
至今，仇恨已经无法化解。
已近七旬的赵绰正直廉洁，并且在益州兢兢业业的奋战了十八年时间，益州的繁荣安定离不开这位老人的心血和汗水；他认为益州南部的乱象“归功于”史万岁的血腥盘剥；而朝廷后续的损失是替史万岁的贪婪还债，而枉死的无数军民，全拜史万岁所赐。
…。。