这时的杨坚应该有了废掉杨勇的打算，所以出手很重以至于要下诏安抚功臣贵族。

杨坚对于杨勇的势力来了个有目的与步骤的打压分化后，随即便为废太子舆论造势。

太子杨勇对种种于己不利的危险迹象颇有察觉，但只是“忧惧，计无所出”。他召新丰人王辅贤占候（造诸厌胜），在后园建造屋宇卑陋的庶人村等等，可能是因为精神压力大的原因以致杨勇经常“东宫多鬼魅，鼠妖数见”，杨坚知道后，派出一个精阴阳、历算的萧吉到东宫主持的“东宫赶鬼”。萧吉在宣慈殿设神座，口中念念有词，不一会儿，果然有回风从艮地鬼门来，吹扫太子座。萧吉用桃汤苇火来压风，风即刻止住了。出来后对杨坚说“太子当不安位”，杨坚对萧吉“赏赐优洽”。

东宫驱鬼是一场闹剧，从这场闹剧中杨坚传递给大家的意思就是上天都认为杨勇该被废了，这对杨勇的太子地位有着致命的打击。

看清了情形，很多人就站出来了呼应杨坚的废太子行动。有的是落井下石，有的是溜须拍马，有的被杨坚安排的，.......先有杨素对杨勇的诋毁“杨勇怨恨，恐怕会生变故，望陛下深防明察”，后有太史令袁充的落井下石“我观察天象，皇太子当废黜”。同时杨坚开始直接地采取行动消减太子东宫的势力，如苏孝慈为太子右卫率，有文武才能和政绩，深受太子杨勇的倚重，杨坚就把他调往外地任刺史；杨坚还在大兴宫北玄武门到宫城东北隅的至德们之间，每隔几步就设置一个候人，来观察东宫的动静，事无巨细都要随时奏闻。

此时的杨勇太子地位已经是摇摇欲坠了。

杨坚的废太子步伐一步一步的推进，舆论和其他都准备好了之后，杨坚就借机把废太子的最大阻力大隋第一宰相尚书左仆射高颖罢免。这高颖字玄昭，又名敏。自称系渤海条县(今河北省景县)人，可能与北齐皇族同宗，乃汉化了的鲜卑族。父亲高宾，背叛北齐，投归北周，做了北周大司马独孤信的僚佐，被赐姓为独孤氏。高颖从小聪明能干，十七岁开始做官，参与了平定北齐的战争，立过战功，受过爵赏。

因为高颖是独孤信的家客，独孤信的女儿又是杨坚的妻子，所以杨坚与高颖早就相互熟悉，也就了解的高颖才华和他的胆识。杨坚专权的时候就派心腹人与他面谈，他欣然接受杨坚的招纳，开始死心塌地的辅佐杨坚成就帝业。开皇元年(581年)，杨坚登上皇位，正式建立隋王朝。高颖任尚书左仆射，兼纳言，当上了大隋的第一宰相。隋朝建国之初，他与苏威协力同心，大小政事，杨坚都是先同他们商量而后施行；因为隋朝是直接继承北周政权的，而北周的法律，则烦杂而不得要领，杨坚下诏，要高颖、郑译、杨素、裴政等人修订法律；他们所修订的法律，不仅为隋朝所施行，而且亦为后世所沿用隋朝建立之后，杨坚在高颖等人的辅佐下，政局安定，经济、文化得到了恢复与发展。摆在大隋王朝面前的课题是，要使统治得到更进一步的巩固和发展，只是注意管辖统治区域内的事是不够的，还必须北服突厥，南平陈朝。在完成这两项任务的过程中，高颖的功绩尤其突出。特别是在平陈方面，他起了重大作用。高颖在平陈之役中，起了主要作用是非常明显的，所以在一次宴会上，杨坚曾说：“高颖平定了江南，虞庆则使突厥降服，可以说是功勋卓著啊！”《隋书》作者在评价高颖时，也说：高颖“克服了东夏，平定了南国，参谋帷幄之中，决胜千里之外”。

高颖一直深受杨坚的信任，曾有人告他谋反，杨坚把告他的人杀了，表示对高颖的绝对信任。高颖作为大隋的开国宰相从开皇元年到他被罢免的开皇十九年做了近二十年的宰相，无任是权利还是威望都是除了杨坚本人之外的第一人。这个在大隋帝国的重量级人物作为山东士人的领袖也是绝对的支持杨勇，而且他还与杨勇成了亲家，让自己的儿子娶了杨勇的女儿，算得上是太子杨勇的铁杆支持者。</dd>