佩之弟逵之，尚武帝长女会稽宣公主，为彭城、沛二郡太守。武帝诸子并幼，以逵之姻戚，将大任之，欲先令立功。及讨司马休之，使统军为前锋，待克当即授荆州，于阵见害。追赠中书侍郎。子湛之。
湛之，字孝源，幼孤，为武帝所爱。常与江夏王义恭寝食不离帝侧。永初三年，诏以公主一门嫡长，且湛之致节之胤，封枝江县侯。数岁与弟淳之共车行，牛奔车坏，左右人驰来赴之。湛之先令取弟，众咸叹其幼而有识。及长，颇涉文义，善自位待，事祖母及母以孝闻。
元嘉中，以为黄门侍郎。祖母年老，辞以朝直不拜。后拜秘书监。会稽公主身居长嫡，为文帝所礼，家事大小必谘而后行。西征谢晦，使公主留止台内，总摄六宫，每有不得意，辄号哭，上甚惮之。初，武帝微时，贫陋过甚，尝自新洲伐荻，有纳布衣袄等，皆是敬皇后手自作。武帝既贵，以此衣付公主曰："后世若有骄奢不节者，可以此衣示之。"湛之为大将军彭城王义康所爱，与刘湛等颇相附。及得罪，事连湛之。文帝大怒，将致大辟。湛之忧惧无计，以告公主。公主即日入宫，及见文帝，因号哭下床，不复施臣妾之礼。以锦囊盛武帝纳衣，掷地以示上曰："汝家本贱贫，此是我母为汝父作此纳衣。今日有一顿饱食，便欲残害我儿子。"上亦号哭，湛之由此得全。
再迁太子詹事，寻加侍中。湛之善尺牍，音辞流畅；贵戚豪强，产业甚厚，室宇园池，贵游莫及，伎乐之妙，冠绝一时。门生千余，皆三吴富人子，姿质端美，衣服鲜丽。每出入行游，途巷盈满。泥雨日，悉以后车载之。文帝每嫌其侈纵。时安成公何勖，无忌之子，临汝公孟灵休，昶之子也，并名奢豪，与湛之以肴膳器服车马相尚，都下为之语曰："安成食，临汝饰。"湛之美兼何、孟。勖官至侍中，追谥荒公。灵休善弹棋，官至秘书监。
湛之后迁丹阳尹，加散骑常侍，以公主忧不拜。过葬，复授前职。二十二年，范晔等谋反。湛之始与之同，后发其事，所陈多不尽，为晔等款辞所连。有司以湛之关豫逆党，事起积岁，末乃归闻，多有蔽匿，请免官削爵，付廷尉。上不许。湛之诣阙上疏请罪，以为"初通其谋，为诱引之辞，晔等并见怨咎，规相祸陷。又昔义康南出之始，敕臣入相伴慰，殷勤异意，颇形言旨。遗臣利刃，期以际会。臣苦相谏譬，深加拒塞，以为怨愤所至，不足为虞，便以关启，惧成虚妄。非为纳受，曲相蔽匿。又令申情范晔，释中间之憾，致怀萧思话，恨婚意未申。谓此侥幸，亦不宣达。陛下敦惜天伦，彰于四海，蕃禁优简，亲理咸通。又昔蒙眷顾，不容自绝，音翰信命，时相往来。或言少意多，旨深文浅，辞色之间，往往难测。臣顾惟心无邪悖，故不稍以自嫌，慺慺丹实，具如此启。臣虽驽下，情匪木石，岂不知丑点难婴，伏剑为易，而靦然视息，忍此余生，实非苟吝微命，假延漏刻。诚以负戾灰灭，贻耻方来，贪及视息，少自披诉。乞蒙随放，伏待鈇锧。"上优诏不许。
二十四年，服阕，转中书令、太子詹事，出为南兖州刺史。善政俱肃，威惠并行。广陵旧有高楼，湛之更修整之，南望钟山。城北有陂泽，水物丰盛，湛之更起风亭、月观，吹台、琴室，果竹繁茂，花药成行。招集文士，尽游玩之适。时有沙门释惠休善属文，湛之与之甚厚。孝武命使还俗。本姓汤，位至扬州从事史。二十六年，湛之入为丹阳尹、领太子詹事。二十七年，魏太武帝至瓜步，湛之与皇太子分守石头。二十八年，鲁爽兄弟率部曲来奔，爽等轨子也，湛之以为庙算特所奖纳，不敢苟申私怨，乞屏田里，不许。转尚书仆射，领护军将军。时尚书令何尚之以湛之国戚，任遇隆重，欲以朝政推之。湛之以令事无不总，又以事归尚之。互相推委，御史中丞袁淑奏并免官。诏乃使湛之与尚之并受辞诉。尚之虽为令，而以朝事悉归湛之。
初，刘湛伏诛，殷景仁卒。文帝任沈演之、庾仲文、范晔等。后又有江湛、何瑀之。自晔诛，仲文免，演之、瑀之并卒，至是江湛为吏部尚书，与湛之并居权要，世谓之江、徐。上每疾，湛之辄侍医药。二凶巫蛊事发，上欲废劭，赐浚死，而孝武无宠，故累出外藩，不得停都下。南平王铄、建平王宏并被爱，而铄妃即湛妹，湛之劝上立之，征铄自寿阳入朝。至又失旨。欲立宏，嫌其非次，议又不决。与湛之议，或连日累夕。每夜，使湛之自执烛绕壁检行，虑有窃听者。劭入弑之旦，其夕上与湛之屏人语，至晓犹未灭烛。湛之惊起趣北户，未及开，见害，时年四十四。孝武即位，追赠司空，谥曰忠烈公。子聿之为元凶所杀。聿之子孝嗣。
孝嗣，字始昌。父被害，孝嗣在孕。母年少，欲更行，不愿有子。自床投地者无算，又以捣衣杵舂其腰，并服堕胎药，胎更坚。及生，故小字遗奴。幼而挺立。八岁袭爵枝江县公，见宋孝武，升阶流涕，迄于就席。帝甚爱之，尚康乐公主，拜驸马都尉。泰始中，以登殿不著韎，为书侍御史蔡准所奏，罚金二两。
孝嗣姑适东莞刘舍，舍兄藏为尚书左丞，孝嗣往诣之。藏退谓舍曰："徐郎是令仆人，三十余可知，汝宜善自结。"升明中，为齐高帝骠骑从事中郎，带南彭城太守，转太尉谘议参军。齐建元初，累迁长史侍中。善趋步，闲容止，与太宰褚彦回相埒。尚书令王俭谓人曰："徐孝嗣将来必为宰相。"转御史中丞。武帝问俭曰："谁可继卿？"俭曰："臣东都之日，其在徐孝嗣乎。"出为吴兴太守，俭赠孝嗣四言诗曰："方轨叔茂，追清彦辅，柔亦不茹，刚亦不吐。"时人以比蔡子尼之行状也。在郡有能名。王俭亡，上征孝嗣为五兵尚书。其年，敕撰江左以来仪典，令谘受孝嗣。明年，迁太子詹事。从武帝幸方山。上曰："朕经始此山之南，复为离宫，应有迈灵丘。"灵丘山湖，新林苑也。孝嗣答曰："绕黄山，款牛首，乃盛汉之事。今江南未广，愿陛下少更留神。"上乃止。竟陵王子良甚善之。历吏部尚书，右军将军，领太子左卫率，台阁事多以委之。武帝崩，遗诏以为尚书右仆射。隆昌元年，为丹阳尹。明帝谋废郁林，遣左右莫智明以告孝嗣，孝嗣奉旨无所厘替，即还家草太后令。明帝入殿，孝嗣戎服随后。郁林既死，明帝须太后令，孝嗣于袖出而奏之，帝大悦。时议悉诛高、武子孙，孝嗣坚保持之，故得无恙。以废立功，封枝江县侯，甲仗五十人入殿。转左仆射。明帝即位，进爵为公，给班剑二十人，加兵百人。旧拜三公乃临轩，至是，帝特诏与陈显达、王晏并临轩拜授。时王晏为令，人情物望不及孝嗣，晏诛，转尚书令。孝嗣爱好文学，器量弘雅，不以权势自居，故见容明帝之世。初在率府，昼卧斋北壁下，梦两童子遽云："移公床。"孝嗣惊起，闻壁有声，行数步而壁崩压床。建武四年，即本号开府仪同三司，让不受。
时连年魏军动，国用虚乏，孝嗣表立屯田。帝已寝疾，兵事未已，竟不行。及崩，受遗托，重申开府之命，加中书监。永元初辅政，自尚书下省出住宫城南宅，不得还家。帝失德，孝嗣不敢谏。及江祏诛，内怀忧恐，然未尝表色。