遭贬的四子杨秀在杨坚和独孤皇后的五个儿子当中，四子杨秀幸情暴烈，奢靡骄纵，妄行不法，又遭到杨广陷害，结果被剥夺官爵，贬为庶人。《隋书》记载，杨秀比杨俊小两岁，比杨广小四岁。坚称帝时，封杨秀为赵王。杨秀先后担任柱国、益州刺史、内史令、右领军、大将军等职，当然也是挂名的。丰秀长大以后，身材魁伟，长性髯额，幸情刚烈，武艺高强，勇猛过人，朝臣都惧怕他。后来，杨坚改封十九岁的杨秀为蜀王，命他镇守益州，治理蜀地。蜀地离京究遥远，地广人众，位置重要。杨坚怕儿子难担大任，专门挑选了朝廷重臣、时任兵部尚书的元岩，去当益州长史，辅佐服秀。杨坚对元岩说：“以你的人品和才能，治理蜀地并不困难，但蜀王是个不羁青年，辅佐他并不容易。希望你尽心尽力，像曹参辅佐齐王那样”。元岩知道，这是皇帝对自己的信任和重托，于是欣然领命。元岩威严耿直，通晓世事，杨秀对他很敬畏，能够克制自己，按法度办事。在元岩辅佐下，蜀地法令严明，秩序稳定，百姓安居乐业。不料，时间不长，元岩患病去世，杨秀便开始为所欲为起来。杨秀喜欢奢侈浮华，追求享乐。他斥巨资修建了豪华的王府，衣食用具都十分讲旧。杨秀执法严苛，多杀无辜，剥削百姓，聚敛财物，民众苦不堪言。满秀不仅肆意放纵，而且还有野心。他违犯制度，超越规格，车马缚饰，均比照天子样式。太子杨勇被废之后，杨广取而代之，性秀对此十分不鳗，时常口出怨言。杨广知道以后，对他怀恨在心。杨秀想扩大自己的势力，上书朝廷，请求扩充军队，增加官佐，可杨坚不予批准。西部边境出现战事，朝廷派兵征讨，杨秀想推荐自己的亲信统兵，杨坚也不同意。杨坚常对独孤皇后说：“秀儿不甘居于人下，肯定没有好结果。我在世，自当不用担心；我死后，他必定会造反。”于是，杨坚逐步削夺了杨秀的权力，以限制他的势力。服广当上皇太子以后，知道杨秀心中不缚，住后必为祸患，于是让杨素暗中察访他的过失，收集罪证。杨秀确实有不少奢靡之事和不法行为，被杨素抓珠许多把柄。杨素向皇帝禀报，杨坚决定依法处理。杨坚把杨秀召回朝廷，要治他的罪。穴广假惺惺地流泪为求。坚说：“往秦王俊骄奢华，朕依法处置，没想到秀不以为戒，反而比俊更甚，决不能宽恕他。”大臣庆整劝谏说：“杨勇已被废黜，性俊已经去世，陛下的儿子不多了，何必如此重罚？蜀王生幸耿直，如被严惩，恐怕不能保全，望陛下三思”。杨坚大怒，要割庆整的舌头，吓得庆整不敢吭声了。杨广痛恨杨秀，一心要置他于死地，于是设了一个狠毒的计策，来陷害杨秀。杨广暗中令人制作了两个木偶人，分别写上杨坚、杨谅的名字，丝绳束手，铁钉穿心，埋在华山下面，然后再让杨素装模作样地挖出来。杨广又冒充杨秀的名义，写了一篇“檄文”，咒骂皇帝。杨素将这些“罪状”奏报皇帝，杨坚见了，怒不可遏，下诏责骂杨秀，说他包藏祸心，图谋不轨，是叛逆之臣和不孝之子，列举了杨秀十项大罪，痛骂他灭天理，逆人伦，有豺狼之心，坏到了极点。杨坚毕竟念及父子之情，没有杀杨秀，但剥夺了杨秀一切官职和爵位，贬为庶民，并且将他囚禁起来，不得与妻子儿女相见。杨坚迁怒于杨秀的属官，受牵连获罪的有一百多人。秀遭贬，又被囚禁，愤懑不已，但没有办法，只好上表谢罪说：“我为运，成为皇子，九岁就得到了荣华富贵。可我愚笨，不知道珍惜，触犯了国法，辜负了父母大恩。如今福分已尽，愿以死谢罪。恳请父皇怜悯，死前能让我与儿子见上一面，然后再赐我一个墓，让我的尸骨有个去处。”这个时候，独孤皇后已经死了，没有人再关心杨秀了。杨秀被囚禁起来，失去了自由，身边只有两个又丑又凶的婢女。杨秀度日如年。杨坚死后，杨广当了皇帝。因为杨秀已经构不成威胁了，杨广没有杀他，但继续进行禁锢，对他严加看管。杨秀后来被宇文化及所杀，活了四十六岁。杨坚最小的儿子杨谅，从小被父母娇惯坏了，为所欲为，后来竟然起兵造反，自然没有好下场。