并不是谁都心服于杨坚，尤其是有实力的那些大臣，就像相州总管尉迟迥。这尉迟迥是宇文泰的外甥，周武帝的表兄，爵位蜀国公，他的孙女尉迟炽繁曾被周宣帝封为天左大皇后，在大周朝内外算是一个德高望重且手握大权的重臣。他统管的相州因为曾经是北齐的都城，周武帝时为了加强对北齐之地的统治，对尉迟迥赋予了极大地权力。杨坚当权尉迟迥心里本来就不舒服，更可恶的是杨坚为了搬掉他这块绊脚石居然派老将韦孝宽任相州刺史，想取代他的位置。心知杨坚不是啥好鸟，于是尉迟迥在相州起兵反对杨坚，自封大都督，奉赵王宇文招的小儿子为主子，设置官吏，并且调集手握的兵马。时尉迟迥的侄子青州总管尉迟勤、时任荥州刺史的皇室宇文胄、徐州总管司录席毗罗与其弟席叉罗先后在各地起兵响应。而且一时间内大周帝国境内掀起的反对杨坚的浪潮并没有结束。
在勋州做总管的司马消难是8岁皇帝宇文衍的岳父，对于杨坚的假钺专权也极为不满，也在尉迟迥起兵不久后成为一方“义军主帅”。手握重兵的益州总管王谦在杨坚派人来取代自己前，也以匡复皇室为名在益州起兵反对杨坚。甚至为了取得对杨坚的军事行动胜利，最先起兵的尉迟迥派儿子到南方的陈国做人质，希望陈国能够出兵帮助他。
面对“半天之下，汹汹鼎沸”的大周帝国，掌握了大周绝大部分的军队精锐与资源的杨坚没有像开始掌权时的那种不自信与犹豫了。他先集中关中府兵精锐，以上柱国韦孝宽为行军元帅，梁士彦、杨素、李询、宇文忻等关陇勋贵为行军总管，绝对心腹高颖做监军讨伐尉迟迥。另外派出柱国王谊为行军元帅，讨伐司马消难。对于远在成都的王谦则缓缓。
杨坚的用人历史的证明是正确的，派去讨伐尉迟迥的韦孝宽不仅是不光是一名杰出将军还是一名有谋的战略家。他终身两件事值得记载，一是玉壁之战，这在今天山西。玉壁是战略要地。东魏西魏时，东魏强，546年，东魏纠集十几万一举进攻西魏，想吞并它。韦孝宽一人领兵扼守，抵挡十几万，据守了六十多天，杀伤东魏七万多人。高欢只能撤军。这是以少胜多、城市捍卫战的模范。指导这场战争的正是他。他是战略家，得谈到第二点，即上平齐三策。他没直接参与战役。曾给武帝上过三封策文，一是讲远交近攻。假如想削平北齐，得和陈朝树立友好关系。二是讲先打外交兵，交好北齐迷惑他，三是应用敌人内乱，寻觅机遇再征伐。这三策都适用，是武帝平齐的指导方针。韦孝宽对平齐做了重要奉献，名副其实的战略家。
前文讲到他曾被杨坚派去相州任刺史取代尉迟迥，他的表现也不错。他被杨坚派去接替尉迟迥，还没有到相州就晓得了尉迟迥要反，他便逃，并将所经过的桥全部拆毁，使得尉迟迥没有追杀到他。但是他逃到河南孟县，就停住了。这河南孟县在洛阳北边，洛阳是整个东部的中心城市，是东部的战略要地，他凭本能就晓得，要征伐这朝廷一定会把这儿抓到手中，于是他提早来并留下了。当时八百守军都是关东鲜卑军，是接纳来的战俘，是降将，改编成的军事力量，对北周或者说是杨坚的忠实有限。而且那些兵的家人在尉迟迥手下，韦孝宽觉得他们很有可能将来策应叛乱的尉迟迥。当时的韦孝宽只是带几个随从来，假如八百守军哗变，他们几个人是无力抵御的。假如哗变，洛阳也风险，东部就没有了据点了。这令人忧心，韦孝宽便用计，慌称接到朝廷文书，文书说朝廷晓得他们辛劳，要恩赐，恩赐的东西放在洛阳的几个仓库中了，而且不同仓库放有不同的东西，要他们分几队去领取。这些人有勇无谋，有东西当然好，没有多想就去拿。一去就后悔了，韦孝宽早就布置好了，一去就扣了。不稳定的士兵被扣押，对洛阳就没形成要挟了。
在河阳不久，韦孝宽就接到杨坚的命令，朝廷派来了大军并且让他做了行军元帅，他带领大军到武陟县，尉迟迥的儿子尉迟惇驻守在沁阳。当时六月，沁水大涨，隔河相望，要过河打仗很难的。然而杨坚的绝对心腹监军高熲在，韦孝宽不能不打呀。于是只好架桥，这边架桥，那边尉迟惇在上游放逐木筏子，点火，让它们逆流而下，想让桥被烧掉。这高熲也聪明，在桥上流位置设了许多土狗。筏子被挡了，靠近不了。韦孝宽搭成了桥，他的大部队便在高熲的催促下渡河作战。可怜尉迟惇聪明反被聪明误，在本占优势的情况下他也想用计，他让部队主动后撤，给敌人腾中央，等一半过了，想再打个措手不及，但是对手是韦孝宽，不给他时机。韦孝宽大喝，今日一战，有进无退，让一切兵士全速渡河，全军过河后高熲更狠一把火烧了桥，断了他们退路，兵士一看，不能回了，只能奋勇向前才能有一条活路。于是在这些官兵的拼了命似的猛烈冲击下，尉迟惇实在那边顶不住。兵败如山倒，十万大军变成无组织地后逃。可惜只有尉迟惇一人逃回尉迟迥的相州城去了，乘胜追击的韦孝宽一路追到相州城下。相州城即邺城是曾经北齐都城，这儿成为了韦孝宽与尉迟—的决战之地。
当韦孝宽和高颎率领着队伍追到相州城时，尉迟迥已经无路可退。于是在公元580年8月17日，尉迟迥带领13万大军倾巢出动，这是尉迟迥最后的家当了，他没办法只有放开手脚赌一把了。仗一打，韦孝宽就发现问题，这尉迟迥不是吹的。韦孝宽被尉迟迥打的连连后退毫无还手的机会。然兵者诡道也。这时，韦孝宽手下宇文忻看到许多百姓在观战便打起了歪主见。邺城百姓乃是北齐故民，北齐亡国也不过三四年的时间，对如今北周真没什么归属感。邺城百姓对于北周朝廷的大军来伐，他们也很关注战局的进展，以至于很多相州百姓不惧风险站在土坡上观看。“邺中士女，观者如堵”，几万人在做这场大兵团作战的观众。起了歪主见的宇文忻对弓弩手说，往百姓那儿射，然而因为百姓不是战役人员，没有任何的准备。有死有伤，整个几万人的观战人群一下子就乱了。大家哭喊着往城里跑，混乱的人群冲击着尉迟迥强大的方阵，就这样军队被裹着乱了，结果被抓住机会的韦孝宽杀了个落花流水。当韦孝宽手下将军攻入了相州城时，尉迟迥知道大势已去，于是在悲愤中自杀了。
从尉迟迥起兵到兵败被自杀，只有短短的68天。尉迟迥的兵败意味着大周反对杨坚的最大势力的覆灭，这给予杨坚扑灭其他反叛势力信心与速度。而听到强大的尉迟迥在瞬间被镇压时，勋州总管司马消难清楚的认识到自己并不是杨坚的对手，在被王谊击败后，立马便逃亡到江南的陈国。而在徐州的席毗罗也很快被杨坚派来的于仲文击败；在益州方面，灭掉尉迟迥腾出手来的杨坚立马派梁睿为行军元帅、于义为总管率领大军20万进入蜀地平叛，王谦所部也很快被大军镇压，王谦本人被杀。就这样在短短的4个月还不到的时间里，跳出来反对杨坚的人都被杨坚武力给镇压下去了，使得杨坚对于北周局势进一步的掌握在他的手里。