桓荣字春卿，沛郡龙亢人也。少学长安，习《欧阳尚书》，事博士九江朱普。贫窭无资，常客佣以自给，精力不倦，十五年不窥家园。至王莽篡位乃归。会朱普卒，荣奔丧九江，负土成坟，因留教授，徒众数百人。莽败，天下乱。荣抱其经书与弟子逃匿山谷，虽常饥困而讲论不辍，后复客授江淮间。
建武十九年，年六十余，始辟大司徒府。时，显宗始立为皇太子，选求明经，乃擢荣弟子豫章何汤为虎贲中郎将，以《尚书》授太子。世祖从容问汤本师为谁，汤对曰："事沛国桓荣。"帝即召荣，令说《尚书》，甚善之。拜为议郎，赐钱十万，入使授太子。每朝会，辄令荣于公卿前敷奏经书。帝称善。曰："得生几晚！"会欧阳博士缺，帝欲用荣。荣叩头让曰："臣经术浅薄，不如同门生郎中彭闳，扬州从事皋弘。"帝曰："俞，往，女谐。"因拜荣为博士，引闳、弘为议郎。
车驾幸大学，会诸博士论难于前，荣被服儒衣，温恭有蕴藉，辩明经义，每以礼让相厌，不以辞长胜人，儒者莫之及，特加赏赐。又诏诸生雅吹击磬，尽日乃罢。后荣入会庭中，诏赐奇果，受者皆怀之，荣独举手捧之以拜。帝笑指之曰："此真儒生也。"以是愈见敬厚，常令止宿太子宫。积五年，荣荐门下生九江胡宪侍讲，乃听得出，旦一入而已。荣尝寝病，太子朝夕遣中傅问病，赐以珍羞、帷、帐、奴婢，谓曰："如有不讳，无忧家室也。"后病愈，复入侍进。
二十八年，大会百官，诏问谁可傅太子者，群臣承望上意，皆言太子舅执金吾原鹿侯阴识可。博士张佚正色曰："今陛下立太子，为阴氏乎？为天下乎？即为阴氏，则阴侯可；为天下，则固宜用天下之贤才。"帝称善，曰："欲置傅者，以辅太子也。今博士不难正朕，况太子乎？"即拜佚为太子太傅，而以荣为少傅，赐以辎车、乘马。荣大会诸生，陈其车马、印绶，曰："今日所蒙，稽古之力也，可不勉哉！"荣以太子经学成毕，上疏谢曰："臣幸得侍帷幄，执经连年，而智学浅短，无以补益万分。今皇太子以聪睿之姿，通明经义，观览古今，储君副主莫能专精博学若此者也。斯诚国家福祐，天下幸甚。臣师道已尽，皆在太子，谨使掾臣汜再拜归道。"太子报书曰："庄以童蒙，学道九载，而典训不明，无所晓识。夫《五经》广大，圣言幽远，非天下之至精，岂能与于此！况以不才，敢承诲命。昔之先师谢弟子者有矣，上则通达经旨，分明章句，下则去家慕乡，求谢师门。今蒙下列，不敢有辞，愿君慎疾加餐，重爱玉体。"
三十年，拜为太常。荣初遭仓卒，与族人桓元卿同饥厄，而荣讲诵不息。元卿嗤荣曰："但自苦气力，何时复施用乎？"荣笑不应。及为太常，元卿叹曰："我农家子，岂意学之为利乃若是哉！"
显宗即位，尊以师礼，甚见亲重，拜二子为郎。荣年逾八十，自以衰老，数上书乞身，辄加赏赐。乘与尝幸太常府，令荣坐东面，设几仗，会百官骠骑将军东平王苍以下及荣门生数百人，天子亲自执业，每言辄曰"大师在是"。既罢，悉以太官供具赐太常家。其恩礼若此。
永平二年，三雍初成，拜荣为五更。每大射养老礼毕，帝辄引荣及弟子升堂，执经自为下说。乃封荣为关内侯，食邑五千户。
荣每疾病，帝辄遣使者存问，太官、太医相望于道。及笃，上疏谢恩，让还爵士。帝幸其家问起居，入街下车，拥经而前，抚荣垂涕，赐以床茵、帷帐、刀剑、衣被，良久乃去。自是诸侯将军大夫问疾者，不敢复乘车到门，皆拜床下。荣卒，帝亲自变服，临丧送葬，赐冢茔于首山之阳。除兄子二人补四百石，都讲生八人补二百石，其余门徒多至公卿。子郁嗣。
论曰：张佚讦切阴侯，以取高位，危言犯众，义动明后，知其直有余也。若夫一言纳赏，志士为之怀耻；受爵不让，风人所以兴歌。而佚廷议戚援，自居全德，意者以廉不足乎？昔乐羊食子，有功见疑；西巴放麑，以罪作傅。盖推仁审伪，本乎其情。君人者能以此察，则真邪几于辨矣。
郁字仲恩，少以父任为郎。敦厚笃学，传父业，以《尚书》教授，门徒常数百人。荣卒，郁当袭爵，上书让于兄子汎，显宗不许，不得已受封，悉以租入与之。帝以郁先师子，有礼让，甚见亲厚，常居中论经书，问以政事，稍迁侍中。帝自制《五家要说章句》，令郁校定于宣明殿，以侍中监虎贲中郎将。