不久孔子的独生子出生，鲁昭公特地派人给孔子送去一条肥硕的鲤鱼以表祝贺，孔子当即为儿子起名“孔鲤”。
鲁昭公心不在国事，始终没有启用孔子；季平子却捷足先登，他把孔子召到身边，给了他一个家族财会的职位。孔子出色地完成了本职工作，但是他一直被人告黑状；季平子后来又命他掌管家族畜牧事务，孔子完成的同样出色。
孔子大概在三十岁（鲁昭公十一年到二十一年）以前一直在季氏家中供职。在此期间，他真正了解到了在街头巷尾永远无法被人所知的、鲁国高层间的明争暗斗和家臣之间是如何勾心斗角的。
孔子心里批判士大夫们的“不忠”，行动上则表现为对任何家臣都敬而远之，绝不加入任何饶圈子。
季平子家族就是个公室，家臣就是卿大夫；孔子相当于掌管财务和畜牧业的大臣，每一分权力都能带来利益。于是职位低的人巴结他，职位高的人拉拢他，都想从中分一杯羹。孔子对这种情况是统统予以回绝的。他当了一些饶财路，那些就在季平子耳边他的坏话。
季平子不得不免去孔子的职务，命他去管理畜牧业，又命阳越代理财务工作。孔子坚持要求对他的工作进行审查，季平子从叔孙婼那借来几位审计人员（季平子不信任自己的家臣），审了半年，结果毛儿也没审出来。
孔子证明了自己的清白，不久便辞职了。
孔子从来没有满足成为一个家臣，他当下的愿望是开办学堂，教导士人遵守周礼，以拯救这个世风日下、物欲横流的堕落社会。
在孔子辞职前的鲁昭公十七年（bc525）秋，郯国君主到曲阜访问，郯国人姓己姓，国家始建于夏代，是个充满了历史神秘感的国家。