委任慕容三藏留守邺城皇宫，自己出逃，当时齐国的王公大臣皆已降周，但是慕容三藏仍然率领禁卫抵抗攻入宫中的周军，直到北齐灭亡以后，给关在牢房里的慕容三藏才顺势归顺北周王朝。
隋朝建立后，杨坚授慕容三藏吴州刺史之职、加封他为野王县开国县公，接着又让他出任凉州（武威郡）刺史、凉州道黜置大使。到了开皇九年，他作为襄阳郡公韦洸副手远征岭南。由于在阵前指挥大军作战的韦洸中流矢而亡，杨坚便让慕容三藏总领军事、检校广州道行军总管、检校广州都督等职。
岭南平定以后，慕容三藏入朝任大将军之职，但是过了不了多久，廓州便时常遭到吐谷浑不断袭扰，杨坚鉴于慕容三藏对凉州地形异常熟悉，立刻任命他为廓州刺史，为大隋茂守边疆。他在州内招抚境内、吏民安业，在对外作战方面，多次击溃了入寇廓州的吐谷浑军，为大隋王朝立下赫赫功勋。杨广登基后，加封他为加金紫光禄大夫、迁凉州兵曹。
兵曹其实是以处理军务为主，但是慕容三藏大半辈子南征北战、东征西讨，根本就闲不住，也没有耐心坐在官署中处理如山的军务。征得杨集同意后，索性就不管那些军务了，专门跑来军营之中练兵，当起了凉州的练兵大将。
慕容三藏或许是当“文官”太久、压抑太久，当他接到练兵的新任务，宛如枯木逢春一般，每天都是精力旺盛，努力将自己作战心得传授给将士们。
哪怕他现在面对的是一群自战场上归来的士兵，可是他也不厌其烦的传授这些最基本的战场常识：
“骑兵的强悍之处在于强悍的力量，而这股强大的力量来自哪里？不是马背上的人，而是屁股下面的战马。骑兵想要把强大的力量发挥出来，关键在于战马而不是人。但是战马再怎么聪明，也是一个不会说话的牲口。所以你们要做的便是一次次的训练、学会怎么去配合它，借助它的冲势、借助它的颠簸来使力，只要做到这一步，那便是初步的人马合一。”
“你们还有一个致命的缺点，那就是在冲刺的时候，将自身力量用死，这其实并没有多大意义。因为骑兵在急速冲击之下，全力出手的力量比没有战马时，至少多出了一半，也就是说，你们在马背上作战时，只要使用一半、或四成的力量就够了。但是很多人生怕杀不死敌人，于是使全力刺出手中的武器。威力固然是大了很多，但是想要重新聚力、或是收回武器，又要耗费很多时间，而疾冲的战马、敌人却不会给你们拔出武器的时间，所以骑兵在战场上杀敌之时，至少要留三
…。。