汤若望究竟是因为什么失去了顺治的宠幸，并且差点被凌迟处死呢
在耶稣会士鲁日满的记录中，我们能够找点一点蛛丝马迹。
在耶稣会士鲁日满的记录中，历狱案被称作仇教，仇教的主角是不信神的官员异教徒巫师骗子，还有妖魔的祭祀和尚。而这群人的头目则是一个邪恶的老家伙。这个邪恶的老家伙名叫杨光先，字长公，江南徽州府歙县人。
杨光先性格暴烈，直爽敢言，具有抗争性。按杨光先自述，他顺治十三年1656年来京，十五年见到钉着钉子的耶稣画像，始知天主教便是耶稣教，从此即有了弹劾之念。
经过一段时间的准备，杨光先撰写了数篇文章先后上表朝廷，矛头直指天主教及西洋历法，但是这些弹劾并没有得到朝廷的回应。杨光先毫不气馁，伺机而动，终于在康熙初年抓住了一次机会。
康熙二年1663年冬，汤若望下属钦天监奉教士人李祖白做天学传概。天学传概全文2500余字，大致介绍天主教之起源天主教如何传入中国以及传教士来华后所做的功绩。
李祖白在文中提到，中华民族的人文始祖伏羲本是犹太人，自西向东来到中国，并且带来了天主教。国人应当生长子孙，家传户习，此时此学之在中国，必倍昌明于今之世。
杨光先看到这篇文章后，对李祖白有辱先圣的说法大为不满，于康熙三年1664年7月底做请诛邪教状投书礼部，以为职官谋叛本国和造传妖书惑众两个罪名控告汤若望等耶稣会士以及李祖白等奉教士人，掀起历狱风暴。
礼吏二部三审定谳
朝廷的反应非常迅速。康熙三年8月初，朝廷密旨审理历狱一案。因为汤若望南怀仁利类思安文思李祖白等人供职于钦天监，钦天监属礼部管辖。且5人都有官职，尤其汤若望，官至一品，亦属吏部管辖。所以朝廷下令由礼吏二部会同审理。
在审讯过程中，汤若望因患病口舌结塞，不能清晰发言，只好用拉丁文和德文与南怀仁交谈，再由南怀仁当堂翻译成中文以备讯问。
杨光先控告的第一项罪名是谋叛。讯问大多集中在与教会教堂和传教士相关的问题上。官员们认为不论省城要地还是乡邑僻壤，都能看到传教士的足迹，对翼期天下人皆入尔之异教大惑不解，认为这无论如何难逃起异心者朋比协某的怀疑。在审理过程中，官员提出大量问题。而被问及最多的就是传教士来华的目的何在。
在第一项罪名审理结束之后，进入第二项罪名的审理造妖书惑众。其审理核心在于，基督教究竟是不是不正当的宗教。承审官员认为念经修建教堂施以洗礼以赦免罪孽为名哄骗男女入教都是邪教所为，并非正当宗教。
传教士们根据教要详细解释，指出天主教只是尽行教诲教徒虔诚改过行善，以释己罪。承审官员最不可理解的是，凡入教之人均不得为祖先烧纸这一条教规，认为仅就不准教徒为祖先烧纸一事而言。确为邪教无疑。
综合之前审讯的结果，11月11日。礼吏二部总结了汤若望包括欺人惑众状如邪教在内的14条可疑之处及罪状，决定将汤若望等人革职并交刑部议处。
康熙三年11月20日，汤若望李祖白等被押入刑部监狱。这时，5人都被革职，不再享有官职身份，被戴上枷锁等候宣判。
康熙三年12月间。刑部针对谋叛和邪教的指控提出如下处理意见：汤若望为首犯，拟以立绞；李祖白等人为行邪教之从犯，拟杖四十，流放宁古塔。
事情并没有到此为止，杨光先又提出来针对汤若望等人的第三项指控荣亲王葬期一事。此案涉及皇家子嗣。事关重大，其他罪名的审理都被这一指控所掩盖。荣亲王是顺治帝第四子，母亲董鄂妃。四皇子生下数月即夭折，未及起名，后追封为荣亲王。
杨光先指责汤若望等人在选择荣亲王葬期时，使用洪范五行，与风水多有冲撞，十分不吉。杨光先还引用了一位谙熟地理之士的说法：李祖白等人在选择葬期时使用的是蛮灭经，这部书本是中国人编写，期望传至外藩，外藩人使用后可断根绝后。