李渊却因此略放了心。不想那张衡用计更狠，又贿赂一个隋主听信的方士安伽陀，道李氏当为天子，劝隋主尽杀天下姓李的。亏得尚书右丞高颎奏道：“这谣言有无关系的，有有关系的，有真的，有假的。无关系的，天将雨商羊起舞是了；有关系的，保弧箕服实亡周国是了。有真的，楚虽三户亡秦必楚，后来楚霸王杲亡了秦是了；有假的，高山不推自倒，明月不扶自上，祖(王廷)伪造害了斛律光，遂至亡国是了。更有信谗言的秦始皇，亡秦者胡，不知却是胡亥。晋宣帝牛易马，却是小吏牛与琅阝琊王妃子私通生元帝。天道隐微，难以意测。且要挽回天意，只在修德，不在用刑，反致人心动摇。圣上有疑，将一应姓李的，不得在朝，不得管兵用事便了。”
此时蒲山公子李密，位为千牛。隋主道他有反相，心也疑他。他却与杨素交厚，杨素要保全李密，遂赞高颎之言，暗令李密辞了官。其时在朝姓李的，多有乞归田的，乞辞兵柄的。李渊也趁这个势乞归太原养病。圣旨准行，还令他为太原府通守，节制西京。这高颎一疏，单救了李渊，也真是个大难不死。
猛虎方逃押，饥鹰得解绦。惊心辞凤阙，匿迹向林皋。
此时是仁寿元年七月了。晋王闻得李渊辞任，对宇文化及道：“张麻子这计极妙，只是枉害了李浑，反替这厮保全身家回去。”
宇文化及说：“晋王苦饶得过这厮罢了；若放他不下，下官一计，定教杀却李渊全家性命。”便附晋王耳边说了几句。
晋王笑道：“早有此计，却不消费这许多心思！”
宇文化及说：“这计只是如今可行。”
晋王拊掌说：“妙计！事成后将他女口囊蠹尽以赐卿。只是他也是员战将，未易剪除，又当如何？”
宇文化及说：“以下官之计，定不辱命；即便不能尽结果他，也叫他吃此一吓，从此再不思量出来做官了。”两人定下计策，要害李渊。
话说李渊见准了这道本，着他做河北道行台太原郡守，便似得了一道赦书，急忙叫收拾起身，先发放门下一干人。这日月台丹墀仪门外，若大著小，男男女女，挨肩擦背，屁都挤将出来。
唐公坐在滴水檐前，看着这些手下人，怜借他效劳日久，十分动念，目中垂泪道：“我实指望长安做官，扶持你们终身遭际。不料逼于民谣，挂冠回去，众人在我门下的，都不要随我去了。”唐公平昔待人有恩，众人一闻此言，放声大哭，个个十分苦楚。
唐公见他们哭得苦楚，眼泪越发滚出来，将袖拂面忍泪道：“你们不必啼哭，难道我今日不做官，将你这些众人，赶逐去不成？我有两说在此：有领我田畴耕种的，有店房生意容身的，有在我门下效劳、得一官半职的，有长安脚下有什么亲故的，这几项人，都不要随我去了。若没有田畴耕种，店房生理，长安中又举目无亲，这种人留在京中，也没有用处，都跟我到太原去，将高就低，也还过了日子。”
这些手下入内，有情愿跟去的，即忙答应：“小的们愿随老爷。”人多得紧，到底不知是那个肯去那个不肯去。唐公毕竟有经纬，吩咐下边众人：“与我分做两班：太原去的，在东边丹墀；长安住的，在这丹墀。分定立了，我还有话。”