卫灵公没料到孔子竟然是上天派来毁灭卫国的，他不禁吓出一身冷汗。卫灵公回忆起孔子在卫国这三年的所作所为，发现他确实有过很多对公室“不忠”的行为，比如他一直反对与晋国作战、反对扩充军力。
孔子在卫灵公心中温婉如玉的君子形象瞬间崩塌，取而代之的则是面目狰狞、似忠实奸的恶魔之相。
卫灵公尽管已经失去了对孔子的信任，但是长久以来聚集起来的崇敬之心却无法在短时间内消失殆尽。卫灵公打算效仿鲁定公采取的那种冷处理的方法来解决问题，他从此便开始刻意疏远孔子，凡有国家大事也很少请他参与商议。
孔子感到了卫灵公对自己态度的变化，也猜到了其中发生的原因；但是他仍对卫灵公抱有一丝希望，他仍相信自己能做些什么来改变卫灵公的主意——毕竟像卫灵公这样对他尊敬的君主可遇而不可求。
但是不久发生的一件事彻底击垮了他的信心，使得他下定决心离开卫国，继续踏上流亡之路。
初夏之时，卫灵公打算与孔子等大夫外出郊游。按卫灵公一贯的做法，他将与孔子同乘一辆轩车，夫人和大夫各自乘车跟在后面。但是这次则不然，卫灵公与夫人南子同乘轩车走在前面，孔子讪讪地坐在后一辆车里。
郊游结束后，孔子把弟子们召集起来说：“我从未见好色如好德的君主，而卫侯又尤为过分。卫国是呆不下去啦，我打算到陈、蔡去，你们愿意留在卫国还是跟我一起出发，自己决定吧！”
弟子们中有些人已经在卫国找到了不错的工作，那些人尽管可以留下来，又对老师做出的决定感到惋惜，但仍然决定辞去工作，追随孔子浪迹四方。
几日之后，孔子辞别了卫灵公，踏上通往中原两国的旅途。
卫灵公与孔子真是一对奇特的组合：孔子没来卫国之前，卫灵公仰慕他；孔子到卫国之后，卫灵公怀疑他；孔子流亡之后，卫灵公又怅然若失——他很快发现，卫国既没有因为孔子的到来变得危险，也没有因为他的离去而变得安全。
数日之后，卫灵公一病不起，很快就去世了。孔子闻听噩耗后，不禁为那位不了解自己的知己潸然泪下。
孔子到了陈国，陈闵公表现得不冷不热。陈闵公给他的俸禄还算不错，但是没给他相应的职位和尊重。
孔子也没什么可以抱怨的——毕竟每流亡到一个新的国家，职位就要降一级。他觉得自己既然没权处理太多的政事，正好可以静下心来讲习学问。但是他却没有料到，这个表面上看起来平静的国家只是在享受风暴来临前的短暂安宁，战争的飓风很快就要掀掉祖庙的屋顶。