余家系出渤海高氏，宋时以勋戚随高宗南渡，籍临安。始祖东园公讳谅者，明初居仁和之黄山，游学至海宁，困甚，偶憩赵家桥上，忽坠于水。陈公明遇设豆腐肆于桥侧，昼寝，梦青龙蟠桥下，惊起，见一男子方入水，急援之。询知世族，乃留之家。公老无子，止一女，因以女女之，而以为子焉。东园公一传为月轩公讳荣，承外祖姓为陈氏，而世其腐业。业腐者起必以戊夜，一日者，于门隙见双灯野外来，潜出窥之，则一儒衣冠者，一道士也。道士指公室旁一地曰：“此穴最吉，葬之子孙位极人臣，有一石八斗芝麻官数。”儒冠者曰：“以何为验？”曰：“以鸡卵二枚坎其中，明日此时，鸡子出矣。”乃于怀中取卵埋之而去。次日公起磨腐，忽忆前事，往探其处，则闯然二鸡雏也。正骇异间，又见双灯遥遥至，雏已出壳，不以埋，急于室中取卵易之，而屏息以伺。二人者至，扌骨之，则仍卵也。儒冠者咎其言不仇，道士迟疑良久，曰：“或气运尚未至耶？”遂去不复返。居久之，公乃奉东园公骨瓮葬其中。二世之后，遂有登科者，至今已三百年，举、贡、进士至二百数十人，位宰相者三人，官尚书、侍郎、巡抚、布政使者十一人，科第已十三世矣。初葬时，植檀树一株于墓上，堪舆家称为海宁陈氏“檀树坟”。圣祖仁皇帝南巡时，闻其异，曾驻跸观焉。
十世祖风山公讳中渐，月轩公曾孙也。为诸生，以《春秋》名其家。性落拓，喜周人之急，所贷予常折券不责偿。市有持赝银，行哭甚哀，公问知为里侩所欺，即自探怀中银如数予之。有丁氏鬻产，既收价徒矣，复据之。公怜其贫，为更授价，及割他产予之。如此者三。岁旱，出谷三百斛赈饥者。帅一乡之人祷雨，雨亦独遍一乡，乡人语曰：“天道不偶，视陈叟。”其为德类如此。公殁后，邑人请祠之乡贤，入祀之明日，而芝生于祠之左楹，明日又生，三日又生，其数七至九，其广六七寸至三四寸，其色紫，其状若牡丹，其香纟困，若都梁、鸡舌然。邑人观之，无不叹为奇瑞。乃署其楼曰“紫芝”，吴人王稚登为之记。公二子，长与郊以进士官至太常寺少卿，次即余九世祖与相，以进士官至贵州布政使。孙祖苞官蓟辽巡抚。曾孙之遴官少保、弘文院大学士。是紫芝之祥也。少保素庵相国未第时，以丧偶故，薄游苏台，遇骤雨，入徐氏园中避之。凭栏观鱼，久而假寐。园主徐翁夜梦一龙卧栏上，见之，惊与梦合。询知为中丞之子，且孝廉也，遂以女字之，所谓湘夫人是也。夫人工诗词，精会事，尝以从宦不获供奉吴太夫人甘旨，手画大士像五千四十有八幅，以祈姑寿。世争宝贵，圣祖曾取入内廷，宠以御题，尤为闺阁中荣事。东园公暨公皆以外舅梦龙得偶，一则贵于子孙，一则贵于其身，龙亦灵怪矣哉！
六世从祖文简公，生而岐嶷，三四岁时，每于睡梦中，一闻梵呗声，必惊起合掌趺坐。母夫人知其有自来也，抚之曰：“儿既生我家，当从事圣贤之学，此佛氏之教，不足循也。”公耸听已，即卧，从此闻经呗声不复作矣。比长，博极群书，以贡入成均，旋中京兆试，文名藉甚，上达宸聪。己未科会试，适妇翁长洲宋文恪公充总裁官，公以嫌不与试。是日圣祖临朝，阅礼部奏回避事，指公名以询廷臣，群臣以宋系陈妇翁对，上曰：“翁婿何回避之有？可趣令入试。”时日已届亭午，闱中将放饭矣，忽传鼓启门，奉旨特送举人陈元龙一名进场。然公仍以嫌被屏。乙丑科会试中式，总裁以十卷进呈，公卷列第十，上拔置第二。殿试，上复亲擢为一甲二人，赐进士及第，非常旷典，为从古所未有也。
文简公既入翰林，圣眷优渥，屡从属车豹尾，《卷阿》矢音之作，一时称盛。会都御史郭劾高文恪公士奇，指公为交结，有叔侄之称。得旨一并休致。公奏辨，谓：“臣宗本出自高，谱牒炳然。若果臣交结士奇，何以士奇反称臣为叔？”事遂得白。再擢掌院学士、吏部侍郎、巡抚广西，人皆贺之，宋夫人独愀然不悦者累日，曰：“一门群从咸列清华，我夫子乃出为粗官，令我惭颜于娣姒矣。”事载全太史祖望文集中所撰《广陵相公伤逝记》。时弟兄叔侄中，清恪公为春卿，文和公为冬卿，丙斋公为司寇，匏庐公亦贰宗伯。夫人之姊妹夫，太仓王相国，方掌钧轴，海宁顾侍郎、合肥李宫詹、长洲缪宫赞，同在朝列，故夫人云然。然不数年，亦入总西台。世宗即位，授公宰辅之任矣。清恪公讳诜，精堪舆之术，抚贵州日，犭犭童屡窃发为患，公周览其城郭，曰：“阴阳向背，均失其宜，祸害所由来也。”遂奏请筑而更之。既成，曰：“从此百年可无兵燹。”至道光末年，贼始蠢动，距筑城时已百五十年矣。公尝于海宁相得一地，以重值购之而不用。暮年官礼卿，在京邸，次子卒于籍，家人求葬地，查夫人以所购地与之。公闻之怒，遽请告归。归而诸宗戚迎之，公不还家，先诣宗祠。于祖父无为公神主下取一函示宗戚，启之，则内书一行曰：“某月日时改葬无为公于某处。”即所葬次子之地也。公愀然曰：“予半生涉历，乃得此地，地之吉与‘檀树坟’等。不敢自私，而留以葬吾祖，思与伯叔弟兄共之。今乃以葬吾子，负初意矣。然年月日时皆未至，恐不能善。”则又诣葬处视之，顿足曰：“葬师无识，偏左丈许，坏此佳城，可为惋惜！”因指其旁一大树，令掘之，掘下三尺，得石匣，中有书曰：“某年月日时葬无为公于此。”公因叹家门祚薄，不能得此吉壤。众曰：“何不再移葬之？”曰：“地气已泄，不可用矣！”众曰：“然则此地遂无用乎？”曰：“后六七十年，子孙当有武官至一品者。”至嘉庆初元，公曾孙体斋公用敷官安徽巡抚兼提督，授一品封为振威将军。
公左足下有赤痣，每自诩为贵徵。黄夫人者，公配查夫人之侍婢也，尝为公濯足，手捧足而视其痣，公笑曰：“婢子何知，我所以官极品者，此痣之相也。”夫人亦笑曰：“公欺我。公足只一痣，已贵为公卿，何以我两足心均有赤痣而为婢女？”公闻之惊，使跣而视之，信，遂纳为室。生二子，长文勤公世倌官宰相，次誾斋公世侃官翰林。查夫人亦生三子，皆登科第无仕。世目公门为“五子登科”云。
文勤公年少登科，扬历中外垂六十年，年八十始得请予告。历掌文衡，门生故吏遍天下。相高宗者十七年，福寿近世罕比。生平崇节俭，讲理学。每敷奏及民间水旱疾苦，必反覆具陈，或继以泣。上辄霁颜听之，必笑曰：“汝又来为百姓哭矣！”事载洪太史亮吉《更生集》中。然秉赋甚薄，每日饭不过一瓯，或啜莲实少许，即可度一日，而年跻大耋，信寿算不在饮食之多寡也。都中尝有一瞽者，善揣骨相，公与溧阳史文靖相国屏车骑往访之，瞽者揣文靖未半，即跪而呼曰：“中堂！”洎揣公，则曰：“此乞丐也。”文靖呵之曰：“此陈中堂！”瞽者揣之良久，又抱其身摇之，愕曰：“真乞丐也，乌得欺我。”公笑曰：“大约以我无食禄之故耶？”乾隆第六次南巡，公已殁矣，时谕祭历代名臣，自周公以下止三十余处，特命以公及文简公列入，尤异数也。
历朝官制不同，然一朝之中亦复前后互异。我朝凡一甲一名及第者，均授职翰林院修撰，故有“殿撰”之称。而六世后祖丙斋公司寇，则曾官翰林院修撰兼左春坊左谕德。司寇讳论，以三甲进士由庶吉士授检讨迁此职，故吾家虽无状元而有修撰。
报施轮回之说，岂尽无凭哉？先大父毅堂公尝为子孙言，高祖南公讳镳，官云南首府时，总督某公贪暴无艺，稍忤意旨，即加以白简，诸官奉令惟谨。一日者，饬云南守购赤金二百两，公承命向肆中买金，每金两十六换，赍金开价投入。总督大怒，不受。自是指瘢索垢，呵责万端，公拟即挂冠矣，会总督为言官列款纠劾，天子命诸城刘文正相国来按是狱。公上谒，相国以首府必总督私人，拒勿见，而使缇骑围督署，搜索，得通贿簿，某若干，某若干，锱铢无漏。而于云南守名下，则大书曰：“某日送赤金二百两，索价十六换，发还。”等字。遂大重公。总督拘于请室，昔时趋附辈无一人过问者，公乃为之纳橐饣，供衣履。比奉命锁进京，又馈白金千资其行。总督大感愧，抢首于地曰：“某无眼不识君。此行若得生，必矢报；倘罪不赦，来世为子孙以报君！”比入都，则赐自尽。越十余年，公以养亲归里，久忘前事矣。一日者，坐书室假寐，忽传言某总督来。方起迎之，总督已至前，珊瑚冠蟒玉如故状，向公跪曰：“来报恩。”欲掖之，已直走入内室。惊而醒，正疑讶间，则报生第四孙矣。即先大父也。弥月后，乳妪抱之出，见公即莞然笑，公抚其首曰：“儿他日不患不作官，但不可再贪耳。”即敫然哭。先大父自言平生莅官行法，胆极大；独一见货财，则此心惕惕然。惧其惩于前世之夙根耶？南公晚居石门，是近邻二童子，奇其貌，招之来家，俾与先大父共读，即陈学士万青、侍郎万全也，故名大父曰万森。
圣祖朝，有以诸生献赋而得赐二品服者，世以为荣。后来久无此旷典矣。先大父于乾隆五十九年，在天津，以大臣子弟迎銮，蒙赐御书、貂皮、朝珠等件。次日诣宫门谢恩，适上御楼望见，指先大父问曰：“此人何以独不挂珠？”军机大臣以诸生未曾授职对。上曰：“朕所赐也，趣命之服。”次日复挂珠赴宫门谢恩。先大父尝言，未登仕版时，金顶、朝珠，夸为异数；比历官牧守，反无此荣耀矣。其时先叔祖晴岩编修以诸生献颂，赐大缎二端；越十二年，乃入翰林。
先大父尝言，少时读《论语》，每不服孔子“及其老也，戒之在得”二语，谓：“人老则一切皆淡，何须戒得？”比官徐州时，年逾六十矣，有狱事以万金馈者，已峻拒之去。向者每睡，就枕即酣卧，是夜忽辗转不寐，初亦不解，已乃自批其颊，骂曰：“陈某，何不长进若此！”遂熟睡如初。旦语人曰：“我乃今始服圣人之言也。”