班氏之先，与楚同姓，令尹子文之后也。子文初生，弃于瞢中，而虎乳之。楚人谓乳“穀”，谓虎“於菟”，故名穀於菟，字子文。楚人谓虎“班”，其子以为号。秦之灭楚，迁晋、代之间，因氏焉。
始皇之末，班壹避地于楼烦，致马、牛、羊数千群。值汉初定，与民无禁，当孝惠、高后时，以财雄边，出入弋猎，旌旗鼓吹，年百余岁，以寿终，故北方多以“壹”为字者。
壹生孺。孺为任侠，州郡歌之。孺生长，官至上谷守。长生回，以茂林为长子令。回生况，举孝廉为郎，积功劳，至上河农都尉，大司农奏课连最，入为左曹越骑校尉。成帝之初，女为婕妤，致仕就第，资累千金，徒昌陵。昌陵后罢，大臣名家皆占数于长安。
况生三子：伯、斿、稚。伯少受《诗》于师丹。大将军王凤荐伯宜劝学，召见宴昵殿，容貌甚丽，诵说有法，拜为中常侍。时，上方乡学，郑宽中、张禹朝夕入说《尚书》、《论语》于金华殿中，诏伯受焉。既通大义，又讲异同于许商，迁奉车都尉。数年，金华之业绝，出与王、许子弟为群，在于绮襦纨绔之间，非其好也。
家本北边，志节慷慨，数求使匈奴。河平中，单于来朝，上使伯持节迎于塞下。会定襄大姓石、李群辈报怨，杀追捕吏，伯上状，因自请愿试守期月。上遣侍中中郎将王舜驰传代伯护单于，并奉玺书印绶，即拜伯为定襄太守。定襄闻伯素贵，年少，自请治剧，畏其下车作威，吏民竦息。伯至，请问耆老父祖故人有旧恩者，迎延满堂，日为供具，执子孔礼。郡中益弛。诸所宾礼皆名豪，怀恩醉酒，共谏伯宜颇摄录盗贼，具言本谋亡匿处。伯曰：“是所望于父师矣。”乃召属县长吏，选精进掾史，分部收捕，及它隐伏，旬日尽得。郡中震栗，咸称神明。岁余，上征伯。伯上书愿过故郡上父祖冢。有诏，太守、都尉以下会。因召宗族，各以亲疏加恩施，散数百金。北州以为荣，长老纪焉。道病中风，既至，以侍中光禄大夫养病，赏赐甚厚，数年未能起。
会许皇后废，班婕妤供养东宫，进侍者李平为婕妤，而赵飞燕为皇后，伯遂称笃。久之，上出过临侯阳，伯惶恐，起视事。
自大将军薨后，富平、定陵侯张放、淳于长等始爱幸，出为微行，行则同舆执辔；入侍禁中，设宴饮之会，及赵、李诸侍中皆引满举白，谈笑大噱。时乘舆幄坐张画屏风，画纣醉踞妲己作长夜之乐。上以伯新起，数目礼之，因顾指画而问伯：“纣为无道，至于是乎？”伯对曰：“《书》云‘乃用妇人之言’，何有踞肆于朝？所谓众恶归之，不如是之甚者也。”上曰：“苟不若此，此图何戒？”伯曰：“‘沉湎于酒’，微子所以告去也；‘式号式呼’，《大雅》所以流连也。《诗》、《书》淫乱之戒，其原皆在于酒。”上乃喟然叹曰：“吾久不见班生，今日复闻谠言！”放等不怿，稍自引起更衣，因罢出。时，长信庭林表适使来，闻见之。
后上朝东宫，太后泣曰：“帝间颜色瘦黑，班侍中本大将军所举，宜宠异之，益求其比，以辅圣德。宜遣富平侯且就国。”上曰：“诺。”车骑将军王音闻之，以风丞相御史奏富平侯罪过，上乃出放为边都尉。后复证入，太后与上书曰：“前所道尚未效，富平侯反复来，其能默乎？”上谢曰：“请今奉诏。”是时，许商为少府，师丹为光禄大夫，上于是引商、丹入为光禄勋，伯迁水衡都尉，与两师并侍中，皆秩中二千石。每朝东宫，常从；及有大政，俱使谕指于公卿。上亦稍厌游宴，复修经书之业，太后甚悦。丞相方进复奏，富平侯竟就国。会伯病卒，年三十八，朝廷愍惜焉。
斿博学有俊材，左将军史丹举贤良方正，以对策为议郎，迁谏大夫、右曹中郎将，与刘向校秘书。每奏事，斿以选受诏进读群书。上器其能，赐以秘书之副。时书不布，自东平思王以叔父求《太史公》、诸子书，大将军白不许。语在《东平王传》斿亦早卒，有子曰嗣，显名当世。
稚少为黄门郎中常侍，方直自守。成帝季年，立定陶王为太子，数遣中盾请问近臣，稚独不敢答。哀帝即位，出稚为西河属国都尉，迁广平相。