义熙末，征为著作佐郎，不就。江州刺史王弘欲识之，不能致也。潜尝往庐山，弘令潜故人庞通之赍酒具，于半道栗里要之。潜有脚疾，使一门生二儿举篮舆。及至，欣然便共饮酌，俄顷弘至，亦无忤也。
先是，颜延之为刘柳后军功曹，在寻阳与潜情款。后为始安郡，经过潜，每往必酣饮致醉。弘欲要延之一坐，弥日不得。延之临去。留二万钱与潜，潜悉送酒家稍就取酒。尝九月九日无酒，出宅边菊丛中坐久之。逢弘送酒至，即便就酌，醉而后归。
潜不解音声，而畜素琴一张。每有酒适，辄抚弄以寄其意。贵贱造之者，有酒辄设。潜若先醉，便语客："我醉欲眠，卿可去。"其真率如此。郡将候潜，逢其酒熟，取头上葛巾漉酒，毕，还复著之。潜弱年薄宦，不洁去就之迹。自以曾祖晋世宰辅，耻复屈身后代，自宋武帝王业渐隆，不复肯仕。所著文章，皆题其年月。义熙以前，明书晋氏年号，自永初以来，唯云甲子而已。与子书以言其志，并为训戒曰：
吾年过五十，而穷苦荼毒。性刚才拙，与物多忤。自量为己，必贻俗患。黾勉辞事，使汝幼而饥寒耳。常感孺仲贤妻之言，败絮自拥，何惭儿子。此既一事矣。但恨邻靡二仲，室无莱妇，抱兹苦心，良独罔罔。少来好书，偶爱闲情，开卷有得，便欣然忘食。见树木交荫，时鸟变声，亦复欢尔有喜。尝言五六月北窗下卧，遇凉风暂至，自谓是羲皇上人。意浅识陋，日月遂往，疾患以来，渐就衰损。亲旧不遗，每有药石见救，自恐大分将有限也。汝辈幼小，家贫无役，柴水之劳，何时可免。念之在心，若何可言！然虽不同生，当思四海皆兄弟之义。鲍叔、敬仲，分财无猜；归生、伍举，班荆道旧，遂能以败为成，因丧立功。佗人尚尔，况共父之人哉！颍川韩元长，汉末名士，身处卿佐，八十而终，兄弟同居，至于没齿。济北氾幼春，晋时操行人也，七世同财，家人无怨色。《诗》云"高山景行"，汝其慎哉！
又为《命子诗》贻之。元嘉四年，将复征命，会卒。世号靖节先生。其妻翟氏，志趣亦同，能安苦节，夫耕于前，妻锄于后云。
宗少文，南阳涅阳人也。祖承，宜都太守。父繇之，湘乡令。母同郡师氏，聪辩有学义，教授诸子。
少文善居丧，为乡闾所称。宋武帝既诛刘毅，领荆州，问毅府谘议参军申永曰："今日何施而可？"永曰："除其宿衅，倍其惠泽，贯叙门次，显擢才能，如此而已。"武帝纳之，乃辟少文为主簿，不起，问其故。答曰："栖丘饮谷，三十余年。"武帝善其对而止。少文妙善琴书图画，精于言理，每游山水，往辄忘归。征西长史王敬弘每从之，未尝不弥日也。乃下入庐山，就释慧远考寻文义。兄臧为南平太守，逼与俱还，乃于江陵三湖立宅，闲居无事。武帝召为太尉行参军，骠骑道怜命为记室参军，并不就。
二兄早卒，孤累甚多，家贫无以相赡，颇营稼穑。人有饷遗，并受之。武帝敕南郡长给吏役，又数致饩赉。后子弟从禄，乃悉不复受。武帝开府辟召，下书召少文与雁门周续之并为太尉掾，皆不起。宋受禅及元嘉中频征，并不应。妻罗氏亦有高情，与少文协趣。罗氏没，少文哀之过甚，既乃悲情顿释，谓沙门释慧坚曰："死生之分，未易可达，三复至教，方能遣哀。"
衡阳王义季为荆州，亲至其室，与之欢宴，命为谘议参军，不起。好山水，爱远游，西陟荆、巫，南登衡岳，因结宇衡山，欲怀尚平之志。有疾还江陵，叹曰："老疾俱至，名山恐难遍睹，唯澄怀观道，卧以游之。"凡所游履，皆图之于室，谓之"抚琴动操，欲令众山皆响"。古有《金石弄》，为诸桓所重，桓氏亡，其声遂绝，唯少文传焉。文帝遣乐师杨观就受之。少文孙测，亦有祖风。
测，字敬微，一字茂深，家居江陵。少静退，不乐人间。叹曰："家贫亲老，不择官而仕，先哲以为美谈，余窃有惑。诚不能潜感地金，冥致江鲤，但当用天之道，分地之利。孰能食人厚禄，忧人重事乎？"齐骠骑豫章王嶷征为参军，不起，测答府云："何为谬伤海鸟，横斤山木？"母丧，身自负土，植松柏。嶷复遣书请之，辟为参军。测答曰："性同鳞羽，爱止山壑，眷恋松云，轻迷人路。纵宕岩流，有若狂者，忽不知老至。而今鬓已白，岂容课虚责有限鱼鸟慕哉？"永明三年，诏征太子舍人，不就。欲游名山，乃写祖少文所作《尚子平图》于壁上。测长子宾，宦在都，知父此旨，便求禄还，为南郡丞，付以家事。刺史安陆王子敬、长史刘寅以下皆赠送之，测无所受，赍《老子》，《庄子》二书自随。子孙拜辞悲泣，测长啸不视，遂往庐山，止祖少文旧宅。