唐代孟棨所写笔记小说《本事诗》里， 杨素的爱妾乐昌公主思念前夫徐德言， 杨素让乐昌公主和前夫团聚， “破镜重圆”。
唐代刘餗所写笔记小说《隋唐嘉话》里，杨素的宠妾与李百通看上了眼，居然大咧咧地在杨素府中私通， 被杨素逮个正着，但杨素看李百通是个少年俊才，就把宠妾送给了李百通， “成人之美”。
唐末杜光庭所写传奇小说《虬髯客传》里，杨素的歌伎红拂又和李靖私奔了， 杨素还是欣然成全了红拂和李， 又来了个“红拂夜奔”。
这三个后世耳熟能详的故事，除了“破镜重圆”据考证虽然正史无记载，但有存在的可能性之外，“成人之美”和“红拂夜奔”都是完全虚构的。
李百药出身博陵李氏，二十八岁就袭爵安平县公， 是太子杨勇的通事舍人，杨广继位后就被排挤外贬。李靖出身“五姓七望”陇西李氏丹杨房， 更不是《虬髯客传》中的布衣书生。两人都是世家子弟。
别说两人出身高贵，性格高傲，做不出私通私奔的事。再者， 他们看上了谁， 随口和杨素提一句， 杨素就会欣然赠送美人。
虽然不知道唐人为什么在写小说的时候， 都热衷给杨素头上染点绿，但从他们总想撬杨素家的美人，翘完后还让杨素给主角当送官送钱的贵人，就知道杨素在隋朝权势之重。
杨素在隋文帝杨坚手下屡立战功，在隋文帝一朝就已经位高权重，不仅自己被封越国公，其子皆因为他的功劳被隋文帝封爵。
他又助杨广夺嫡，轻松帮杨广平定汉王杨谅叛乱。杨广对其厚赏无数。
杨素的权势在大业元年达到了鼎盛。
而鼎盛后，盛极而衰之快，让杨素所料未及。
当杨素助杨广坐稳了皇位，在杨广心中，杨素就成了影响他皇位稳定的因素。
即使杨素未有任何错误，还主动把弱点递给杨广，广求家产美姬，甚至做出早上拆房子晚上建房子这种奇葩事，引来众人鄙夷。杨广还是忌惮他。
大业二年，太史令上奏杨广“分野有大丧”。
时人都信谶纬，太史令其实不是专职的史官，而是官方“占星术士”。“分野”是先秦时传下的占星术用语，即将天上星宿划分成十二个星区，与地上疆域对应，以预言祸福。
隋朝的名称取自“随国”，与楚国同属“翼轸”分野。隋文帝和杨广都信这个，所以隋朝没有楚王和楚国公。
杨广听了太史公的上奏后，很快就将杨素改为隋朝第一个楚国公。
杨素立刻明白了皇帝的用意。
汉文帝曾经率领群臣哭死舅父。杨广此举和汉文帝差不多，就是告诉杨素，你现在自己选择去死，还能给自己和家族留个体面。
于是改封楚国公后不久，杨素就生病了。
杨广一边派名医去为杨素医治，一边暗中打探杨素的病情和对此事的反应。
听了宇文述打探回来的消息后，杨广心里对杨素的怨恨有些愤怒，但杨素好歹还是顺从地走上了自己给他安排好的路，杨广大度地原谅了杨素。
只要杨素死，他仍旧能厚待杨素的家族。
杨广对宇文述道：“若杨素不死，朕必定除其族！”
宇文述恭敬道：“陛下请安心，杨素必是不敢不死的。”
杨广冷哼：“希望他能识趣。”
大兴城中，李世民和李玄霸也得知了这件会让朝野上下轰动万分的事。
这时，高颎正手持书卷，敲着李世民的脑袋。
李世民很聪明，但有了小马之后，总有点定不下心读书，此次考校又被高颎看出了“赶工”的痕迹。
虽然李世民的功课是完成了，学识也掌握得不错。但这时候老师教书不仅看结果，也看重过程。
态度至关重要。
李世民就是读书态度不端正，必须被敲脑袋。
高颎离开大兴时，就感到了皇帝和杨素之间的气氛有些古怪，所以留下了人观察杨素的动静。
家仆前来送信时看了李世民和李玄霸一眼。
高颎问道：“可是越国公的事？”
家仆抱拳：“是。”
高颎道：“越国公之事无不可被外人所知的，直说即可。”
家仆在心里斟酌了一下语言，简略道：“陛下改封越国公为楚国公，食邑两千五百户。”
高颎点头，道：“知道了，下去吧。”
待家仆离开后，刚被敲了脑袋却和没事人似的李世民，好奇道：“老师，越国公是谁啊。”
李玄霸无语：“哥，你连越国公杨素杨公都不知道？”
李世民想了想，道：“你说杨公我就知道了。我还知道，越国公改楚国公，是厚赏！”
李玄霸嘀咕：“本来应该是这样。”
封王和封公中最高等的封号都是春秋战国的“国号”。从春秋战国时各国国力强盛，划分王爵和公爵中的地位高低。
比如“唐国公”的“唐”是春秋不知名小国，地位就比春秋五霸“越国公”的“越”地位低。
最高等的爵位，自然是“秦晋楚齐魏燕赵韩”，“秦晋楚”又在这其中独一档。所以杨素从越国公改封楚国公，本应是“晋升”了。
高颎虽然年纪大了，但耳力非常好。李玄霸嘀咕得很小声，他仍旧听到了。
“李三郎，为何是‘本来’？”高颎问道。
他的结论和李世民一样，所以听完家仆传递的消息后就没再在意，以为自己之前察觉的皇帝和杨素之间气氛古怪是错觉，这对君臣关系仍旧很亲近。
但高颎已经在教导李玄霸时，见识过李玄霸在政治上异于常人的敏锐，便想听听弟子的意见。