时，政事渐损，权移于下，衡因上疏陈事曰：
伏惟陛下宣哲克明，继体承天，中遭倾覆，龙德泥蟠。今乘云高跻，磐桓天位，诚所谓将隆大位，必先倥偬之也。亲履艰难者知下情，备经险易者达物伪。故能一贯万机，靡所疑惑，百揆允当，庶绩咸熙。宜获福祉神祗，受誉黎庶。而阴阳未和，灾眚屡见，神明幽远，冥鉴在兹。福仁祸淫，景响而应，因德降休，乘失致咎，天道虽远，吉凶可见，近世郑、蔡、江、樊、周广、王圣，皆为效矣。故恭俭畏忌，必蒙祉祚，奢淫诌慢，鲜不夷戮，前事不忘，后事之师也。夫情胜其性，流遁忘反，岂唯不肖，中才皆然。苟非大贤，不能见得思义，故积恶成衅，罪不可解也。向使能瞻前顾后，援镜自戒，则何陷于凶患乎！贵宠之臣，众所属仰，其有愆尤，上下知之。褒美讥恶，有心皆同，故怨讟溢乎四海，神明降其祸辟也。顷年雨常不足，思求所失，则《洪范》所得"僣恒阳若"者也。惧群臣奢侈，昏逾典式，自下逼上，用速咎征。又前年京师地震土裂，裂者威分，震者人扰也。君以静唱，臣以动和，威自上出，不趣于下，礼之政也。窃惧圣思厌倦，制不专已，思不忍割，与众共威。威不可分，德不可共。《洪范》曰："臣有作威作福玉食，害于而家，凶于而国。"天鉴孔明，虽疏不失。灾异示人，前后数矣，而未见所革，以复往悔。自非圣人，不能无过。愿陛下思惟所以稽古率旧，勿令刑德八柄，不由天子。若恩从上下，事依礼制，礼制修则奢僣息，事合宜则无凶咎。然后神望允塞，灾消不至矣。
初，光武善谶，及显宗、肃宗因祖述焉。自中兴之后，儒者争学图纬，兼复附以訞言。衡以图纬虚妄，非圣人之法，乃上疏曰：
臣闻圣人明审律历以定吉凶，重之以卜筮，杂之以九宫，经天验道，本尽于此。或观星辰逆顺，寒燠所由，或察龟策之占，巫觋之言，其所因者，非一术也。立言于前，有征于后，故智者贵焉，谓之谶书。谶书始出，盖知之者寡。自汉取秦，用兵力战，功成业遂，可谓大事，当此之时，莫或称谶。若夏侯胜、眭孟之徒，以道术立名，其所述著，无谶一言。刘向父子领校秘书，阅定九流，亦无谶录。成、哀之后，乃始闻之。《尚书》尧使鮌理洪水，九载绩用不成，鮌则殛死，禹乃嗣兴。而《春秋谶》云"共工理水"。凡谶皆云黄帝伐蚩尤，而《诗谶》独以为'蚩尤败，然后尧受命'。《春秋元命包》中有公输班与墨翟，事见战国，非春秋时也。又言"别有益州"。益州之置，在于汉世。其名三辅诸陵，世数可知。至于图中讫于成帝。一卷之书，互异数事，圣人之言，势无若是，殆必虚伪之徒，以要世取资。往者侍中贾逵摘谶互异三十余事，诸言谶者皆不能说。至于王莽篡位，汉世大祸，八十篇何为不戒？则知图谶成于哀、平之际也。且《河洛》、《六艺》，篇录已定，后人皮傅，无所容篡。永元中，清河宋景遂以历纪推言水灾，而伪称洞视玉版。或者至于弃家业，入山林。后皆无效，而复采前世成事，以为证验。至于永建复统，则不能知。此皆欺世罔俗，以昧势位，情伪较然，莫之纠禁。且律历、封候、九宫、风角，数有征效，世莫肯学，而竞称不占之书。譬犹画工。恶图犬马而好作鬼魅，诚以实事难形，而虚伪不穷也。宜收藏图谶，一禁绝之，则朱紫无所眩，典籍无瑕玷矣。
后迁侍中，帝引在帷幄，讽议左右。尝问衡天下所疾恶者。宦官惧其毁己，皆共目之，衡乃诡对而出。阉竖恐终为其患，遂共谗之。
衡常思图身之事，以为吉凶倚伏，幽微难明，乃作《思玄赋》，以宣寄情志。其辞曰：
仰先哲之玄训兮，虽弥高其弗违。匪仁里其焉宅兮，匪义迹其焉追？潜服膺以永靓兮，绵日月而不衰。伊中情之信修兮，慕古人之贞节。竦余身而顺止兮，遵绳墨而不跌。志团团以应悬兮，诚心固其如结。旌性行以制佩兮，佩夜光与琼枝。纟隽幽兰之秋华兮，又缀之以江蓠。美襞积以酷裂兮，允尘邈而难亏。既姱丽而鲜双兮，非是时之攸珍。奋余荣而莫见兮，播余香而莫闻。幽独守此仄陋兮，敢怠皇而舍勤。幸二八之遻虞兮，喜傅说之生殷；尚前良之遗风兮，恫后辰而无及。何孤行之茕茕兮，孑不群而介立？感鸾鹥之特栖兮，悲淑人之稀合。
彼无合其何伤兮，患众伪之冒真。旦获讟于群弟兮，启《金滕》而乃信。览蒸民之多僻兮，畏立辟以危身。曾烦毒以迷或兮，羌孰可与言已？私湛忧而深怀兮，思缤纷而不理。愿竭力以守义兮，虽贫穷而不改。执雕虎而试象兮，阽焦原而跟止。庶斯奉以周旋兮，要既死而后已。俗迁渝而事化兮，泯规矩之圜方。珍萧艾于重笥兮，谓蕙芷之不香。斥西施而弗御兮，羁要褭以服箱。行陂僻而获志兮，循法度而离殃。惟天地之无穷兮，何遭遇之无常！不抑操而苟容兮，譬临河而无航。欲巧笑以千媚兮，非余心之所尝。袭温恭之黻衣兮，披礼义之绣裳。辫贞亮以为鞶兮，杂技艺以为珩。昭采藻与雕琢兮，璜声远而弥长。淹栖迟以恣欲兮，燿灵忽其西藏。恃已知而华予兮，鶗鴂鸣而不芳。冀一年之三秀兮，遒白露之为霜。时亹亹而代序兮，畴可与乎比伉？咨妒嫭之难并兮，想依韩以流亡，恐惭冉而无成兮，留则敝而不章。
心犹与而狐疑兮，即岐址而摅情。文君为我端蓍兮，利飞遁以保名。历众山以周流兮，翼迅风以扬声。二女感于崇岳兮，或冰折而不营。天盖高而为泽兮，谁云路之不平！勔自强而不息兮，蹈玉阶之峣峥。惧筮氏之长短兮，钻东龟以观祯。遇九皋之介鸟兮，怨素意之不逞。游尘外而瞥天兮，据冥翳而哀鸣。雕鹗竞于贪婪兮，我修洁以益荣。子有故于玄鸟兮，归母氏而后宁。
占既吉而无悔兮，简无辰而俶装。旦余沐于清原兮，晞余发于朝阳。漱飞泉之沥液兮，咀石菌之流英。翾鸟举而鱼跃兮，将往走乎八荒。过少皞之穷野兮，问三丘乎句芒。何道真之淳粹兮，去秽累而票轻。登蓬莱而容与兮，鳌虽抃而不倾。留瀛洲而采芝兮，聊且以乎长生。凭归云而遐逝兮，夕余宿乎扶桑。噏青岑之玉醴兮，餐沆瀣以为粮。发昔梦于木禾兮，谷昆仑之高冈。朝吾行于汤谷兮，从伯禹于稽山。集群神之执玉兮，疾防风之食言。