高颖做了近二十年的宰相，与杨坚的矛盾与曾出现过，例如杨坚在开皇十八年的时候杨坚要攻打高丽，而高颖坚决不同意，但杨坚坚持要打，并派高颖为事实上的主帅，高颖只好服从。结果因为疾疫流行，军队十之**病死，无功而返。这件事本来是没有什么好挑剔的，可是孤独皇后却节外生枝，在杨坚面前中伤高颖，说什么“高颖根本就不愿意去，你强迫他去了，我就知道准是无功而还”。她的意思是说，高颖阳奉阴违，消极抗命。这孤独皇后本与高颖关系蛮好的，只是那次统军名义上大的主帅汉王杨谅受了高颖的气向她告状，所以她才为儿子出气中伤高颖。原来在那次远征中高颖掌握实际指挥权，而高颖为人，比较耿直，自觉责任重大，常常以大局为重，不避嫌疑。对于主帅杨谅的意见，也多不采纳。所以杨谅恨透了他，返京后在母亲孤独皇后面前告他的状说：“儿万幸没有被高颖杀掉。”对于这些事情，杨坚就对高颖就有点愤愤不平，但是依然很是信任他。

高颖与杨坚几十年的革命感情，杨坚是不会仅仅因为一两次的政见不同或者其他人的中伤而罢免高颖的，杨坚对于高颖还是有着信任与重用，后来高颖还领兵出征过突厥呢。杨坚罢免高颖是因为高颖不支持自己废太子，这是谁都不能反对的，所以高颖被罢免了。

杨坚知道高颖施支持太子的，所以曾经以一种商量的口吻问高颖：“有神凭告晋王妃，言晋王必有天下，若之何”？高颖立即奏道“长幼有序，岂可废乎？”表明自己是坚决不支持废掉杨勇。高颖身为大隋最有权势的当朝大臣，朝野威望极高，又作为太子在朝野的中坚力量，杨坚要废太子只有把这个跟了自己几十年的高颖罢免。

开皇十九（599年）年，当有人告高颖泄露宫廷秘闻时，杨坚不再像以前有人告高颖谋反是一样杀了告密者，而是果断下令追究高颖的罪行。对此上柱国贺若弼、兵部尚书柳述等一大帮朝廷重臣都上书申明高颖是被诬告的，杨坚存心要整高颖，所以就把这些为他求情的人交给执法人员问罪希望表明自己的决心。但是还是有不识趣的刑部尚书薛胄想依据刑律条文为高颖“明雪”辩解，杨坚为震慑朝臣，就让人给薛胄带上刑具，这样一来就没有人给高颖申辩求情了。八月杨坚正式下诏罢免高颖的尚书左仆射职务，让他带着一个齐国公的爵位回老家养老去，这意味着杨勇的**在朝野的彻底失势。

高颖罢免后，虽然对于太子将被废一事已经谣言四起，但杨坚没有立即废掉杨勇，而是在等高颖被免一事在朝堂引起的震动冷却，因为朝廷的稳定才是头等大事。直到开皇二十年(600)九月杨坚接到东宫官姬威关于太子杨勇的报告书时，杨坚才感到紧张，认为太子杨勇会狗急跳墙动手政变夺权。杨勇做了近二十年的开国太子可谓是根深蒂固、树大叶茂，所以即使杨勇来自朝臣的最大支持高颖被罢免，其他势力也都被杨坚打压分化，但是如果杨勇发起狠来能量还是很大的。这也是杨坚想废掉杨勇后不能立即废掉，而是一步一步地消弱杨勇的势力，使得废太子一事水到渠成，这样废掉杨勇就不会引起朝野震动，甚至政变内乱。