允少好大节，有志于立功，常习诵经传，朝夕试驰射。三公并辟，以司徒高第为侍御史。中平元年，黄巾贼起，特选拜豫州刺史。辟荀爽、孔融等为从事，上除禁党。讨击黄巾别帅，大破之，与左中郎将皇甫嵩、右中郎将朱俊等受降数十万。于贼中得中常侍张让宾客书疏，与黄巾交通，允具发其奸，以状闻。灵帝责怒让，让叩头陈谢，竟不能罪之。而让怀协忿怨，以事中允。中，伤也。明年，遂传下狱。传，逮也。
会赦，还复刺史。旬日闲，复以它罪被捕。司徒杨赐以允素高，不欲使更楚辱，更，经也。楚，苦痛。乃遣客谢之曰：“君以张让之事，故一月再征。凶慝难量，幸为深计。”深计谓令自死。又诸从事好气决者，共流涕奉药而进之。允厉声曰：“吾为人臣，获罪于君，当伏大辟以谢天下，岂有乳药求死乎！”投杯而起，出就槛车。既至廷尉，左右皆促其事，朝臣莫不叹息。大将军何进、太尉袁隗、司徒杨赐共上疏请之曰：“夫内视反听，则忠臣竭诚；宽贤矜能，则义士厉节。内视，自视也。反听，自听也。言皆恕己，不责于人也。是以孝文纳冯唐之说，文帝时，魏尚为云中守，下吏免。冯唐为郎中署长，奏言曰：“臣闻魏尚为云中守，上功首虏差六级，陛下下之吏，削其爵。愚以为陛下法太明，赏太轻，罚太重。”帝即日赦尚复为云中太守。晋悼宥魏绛之罪。《左传》曰，晋悼公之弟杨干乱行于曲梁，魏绛戮其仆。公怒之。绛曰：“臣闻师众以顺为武，军事有死无犯为敬。臣惧其死，以及杨干，无所逃罪。”公曰：“寡人有弟不能教训，使干大命，寡人之过也。子无重寡人之过。”与之礼食，使佐新军。允以特选受命，诛逆抚顺，曾未期月，州境澄清。方欲列其庸勋，请加爵赏，而以奉事不当，当肆大戮。责轻罚重，有亏众望。臣等备位宰相，不敢寝默。诚以允宜蒙三槐之听，以昭忠贞之心。”《周礼》朝士职，三槐、九棘，公卿于下听讼，故曰“三槐之听”。书奏，得以减死论。是冬大赦，而允独不在宥，三公咸复为言。至明年，乃得解释。是时宦者横暴，睚众触死。睚音五懈反。眦音士懈反。前书曰：“原涉好杀，睚眦于尘中，触死者甚多。”允惧不免，乃变易名姓，转侧河内、陈留闲。转侧犹去来也。
及帝崩，乃奔丧京师。时大将军何进欲诛宦官，召允与谋事，请为从事中郎，转河南尹。献帝即位，拜太仆，再迁守尚书令。
初平元年，代杨彪为司徒，守尚书令如故。及董卓迁都关中，允悉收敛兰台、石室图书秘纬要者以从。既至长安，皆分别条上。又集汉朝旧事所当施用者，一皆奏之。经籍具存，允有力焉。时董卓尚留洛阳，朝政大小，悉委之于允。允矫情屈意，每相承附，卓亦推心，不生乖疑，故得扶持王室于危乱之中，臣主内外，莫不倚恃焉。
允见卓祸毒方深，篡逆已兆，密与司隶校尉黄琬、尚书郑公业等谋共诛之。乃上护羌校尉杨瓒行左将军事，执金吾士孙瑞为南阳太守，并将兵出武关道，以讨袁术为名，实欲分路征卓，而后拔天子还洛阳。卓疑而留之，允乃引内瑞为仆射，瓒为尚书。
二年，卓还长安，录入关之功，封允为温侯，食邑五千户。固让不受。士孙瑞说允曰：“夫执谦守约，存乎其时。公与董太师并位俱封，而独崇高节，岂和光之道邪？”《老子》曰：“和其光，同其尘。”允纳其言，乃受二千户。
三年春，连雨六十余日，允与士孙瑞、杨瓒登台请霁，复结前谋。《说文》曰：“霁，雨止也。”郭璞曰：“南阳人呼雨止曰霁。”瑞曰：“自岁末以来，太阳不照，霖雨积时，月犯执法，执法，星名。《史记》曰“太微南四星曰执法”也。彗孛仍见，昼阴夜阳，雾气交侵，此期应促尽，内发者胜。几不可后，公其图之。”允然其言，乃潜结卓将吕布，使为内应。会卓入贺，吕布因刺杀之。语在《卓传》。帝时疾愈，故入贺也。
允初议赦卓部曲，吕布亦数劝之。既而疑曰：“此辈无罪，从其主耳。今若名为恶逆而特赦之，适足使其自疑，非所以安之之道也。”吕布又欲以卓财物班赐公卿、将校，允又不从。而素轻布，以剑客遇之。布亦负其功劳，多自夸伐，既失意望，渐不相平。
允性刚棱疾恶，棱，威棱也，力登反。初惧董卓豺狼，故折节图之。卓既歼灭，自谓无复患难，及在际会，每乏温润之色，杖正持重，不循权宜之计，是以群下不甚附之。
董卓将校及在位者多凉州人，允议罢其军。或说允曰：“凉州人素惮袁氏而畏关东。今若一旦解兵，则必人人自危。可以皇甫义真为将军，就领其众，因使留陕以安抚之，而徐与关东通谋，以观其变。”允曰：“不然。关东举义兵者，皆吾徒耳。今若距险屯陕，虽安凉州，而疑关东之心，甚不可也。”时百姓讹言，当悉诛凉州人，遂转相恐动。其在关中者，皆拥兵自守。更相谓曰：“丁彦思、蔡伯喈但以董公亲厚，并尚从坐。今既不赦我曹，而欲解兵，今日解兵，明日当复为鱼肉矣。”卓部曲将李傕、郭汜等先将兵在关东，因不自安，遂合谋为乱，攻围长安。城陷，吕布奔走。布驻马青琐门外，《前书音义》曰：“以青画户边镂中，天子制也。”招允曰：“公可以去乎？”允曰：“若蒙社稷之灵，上安国家，吾之愿也。如其不获，则奉身以死之。朝廷幼少，恃我而已，朝廷谓天子也。临难苟免，吾不忍也。努力谢关东诸公，勤以国家为念。”