史书中关于房遗爱和高阳公主的记录不多。其实这对男女就是两个被他们威名赫赫的父亲宠坏了的孩子，他们的婚姻在当时也很正常，公主下嫁宰相之子，标准的政治联姻。像他们这样的，在古时各个朝代比比皆是。他们之所以出名，是因为高阳的放荡，而且她的情人大都是和尚道士，于是就成了小说家们的宠儿。他们之所以双双被杀，是因为他们的愚蠢和自私，成了争权夺利的政治牺牲品。虽然一个贵为宰相公子，一个尊为公主，但对于大唐来说，这是两个无足轻重的小人物。但正是这两个小人物，却累得李恪、李元景、薛万彻丢了性命。借用大将军薛万彻临刑前的一句话：“薛万彻大健儿，留为国家效死力，岂不佳，乃坐房遗爱杀之乎！”可悲！可叹!
《旧唐书.列传第十六》：
……玄龄自以居端揆十五年，女为韩王妃，男遗爱尚高阳公主，实显贵之极，频表辞位，优诏不许。……即日授其子遗爱右卫中郎将，遗则中散大夫，使及目前，见其通显。……太宗见表，谓玄龄子妇高阳公主曰：“此人危惙如此，尚能忧我国家。”……次子遗爱，尚太宗女高阳公主，拜驸马都尉，官至太府卿、散骑常侍。初，主有宠于太宗，故遗爱特承恩遇，与诸主婿礼秩绝异。主既骄恣，谋黜遗直而夺其封爵，永徽中诬告遗直无礼于己。高宗令长孙无忌鞫其事，因得公主与遗爱谋反之状。遗爱伏诛，公主赐自尽，诸子配流岭表。遗直以父功特宥之，除名为庶人。停玄龄配享。
《旧唐书·本纪第四高宗上》：
冬十月戊戌，幸同安大长公主第，又幸高阳长公主第，即日还宫。……二月乙酉，遗爱、万彻、令武等并伏诛；元景、恪、巴陵高阳公主并赐死。
《旧唐书·列传第十五》：
敬宗奏言无忌谋反有端，帝曰：“我家不幸，亲戚中频有恶事。高阳公主与朕同气，往年遂与房遗爱谋反，今阿舅复作恶心。近亲如此，使我惭见万姓。”
《新唐书列传第八诸帝公主》：
合浦公主，始封高阳。下嫁房玄龄子遗爱。主，帝所爱，故礼异它婿。主负所爱而骄。房遗直以嫡当拜银青光禄大夫，让弟遗爱，帝不许。玄龄卒，主导遗爱异赀，既而反谮之，遗直自言，帝痛让主，乃免。自是稍疏外，主怏怏。会御史劾盗，得浮屠辩机金宝神枕，自言主所赐。初，浮屠庐主之封地，会主与遗爱猎，见而悦之，具帐其庐，与之乱，更以二女子从遗爱，私饷亿计。至是，浮屠殊死，杀奴婢十余。主益望，帝崩无哀容。又浮屠智勖迎占祸福，惠弘能视鬼，道士李晃高医，皆私侍主。主使掖廷令陈玄运伺宫省禨祥，步星次。永徽中，与遗爱谋反，赐死。显庆时追赠。
《新唐书.列传二十一房杜》：
……疾甚，帝命凿苑垣以便候问，亲握手与决。诏皇太子就省。擢子遗爱右卫中郎将，遗则朝散大夫，令及见之。……次子遗爱，诞率无学，有武力。尚高阳公主，为右卫将军。公主，帝所爱，故礼与它婿绝。主骄蹇，疾遗直任嫡，遗直惧，让爵，帝不许。主稍失爱，意怏怏。与浮屠辩机乱，帝怒，斩浮屠，杀奴婢数十人，主怨望，帝崩，哭不哀。高宗时，出遗直汴州刺史，遗爱房州刺史。主又诬遗直罪，帝敕长孙无忌鞫治，乃得主与遗爱反状，遗爱伏诛，主赐死。遗直以先勋免，贬铜陵尉。诏停配享。
《新唐书本纪三.高宗》：