嘉靖帝对严嵩父子日久生厌，又有道士们一旁窜掇，便下诏逮严世藩入大理狱，命严嵩致仕，“仍给岁禄”。
发现皇帝对老父严嵩没有一棒子打死，严世藩深知事情不像想象中那样不可挽救。他通过早先交结的内保太监，奏称道士蓝道行与邹应龙里外色结，陷害大臣。嘉靖帝各打五十大板，命人逮捕蓝道士送入牢房审讯。严嵩嘱托刑部的心腹，严刑拷打蓝道行，最终目的让他诬攀徐阶为幕后指使。谁料，蓝道士挺“英勇”，坚决不承认受徐阶嘱指。由于严氏父子势力根深固结，最终蓝道行获罪被处死。
朝中独相十余年，严嵩党羽力量确实大。但是，如果不处理严世藩，又无法向皇帝交待，法司最后就“裁定”严世藩受贿八百两白银，上案于御前。廷议后，判决流放严世藩于雷州，其两个儿子及心腹罗龙文等人分戌边地。
嘉靖帝念严嵩旧情，特宥严世藩一个儿子为民，回老家伺侯严嵩起居。
严嵩离朝后，没人再与自己谈玄论道，加之蓝道行又被处决，年已半花的嘉靖帝追念老严过去二十多年的赞玄之功，悒悒不乐。于是，他把已经升任首辅的徐阶叫来，表示自己要退居二线，当太上皇，准备在西内一心拜道。徐阶极陈不可，谏劝皇帝不要搁挑子。“好，既然如此，你们一定要与朕同辅玄修，努力崇道，日后再有谁敢上疏劾奏追论严嵩、严世藩父子，朕一定下令把他们与邹应龙一同送斩！”
远在江西南昌的严嵩闻此，知道帝意仍有念旧之情，就趁嘉靖帝生日，在铁柱宫使道士建醮为皇帝祈祷，亲自撰写《祈鹤文》献上。皇帝优诏答之。见有回信，严嵩登老二上肚脐，上疏乞求皇帝准许自己被流放的子孙回南昌能给自己养老。对此，嘉靖帝没有答应。
事已至此，严世藩也不消停，惹事不断。他被明廷下令流放雷州，但是，刚刚行至半道，他便擅自回返，在南昌大兴土木，修建豪华别墅。更危险的是，他常常酒后宣言：“哪天我得以重起，一定要拿下徐老头的人头，邹应龙也跑不掉！”
徐阶得闻，忽起斩草除根之心。严嵩听见儿子如此放话，叹息对左右讲：“此儿误我太多。圣恩隆厚，我得善归。此儿虽被遣戍，遇赦也可得归。今忽忽大言，惹怒圣上与徐阶，我严氏家族，横尸都门那天，想必不远矣！”
合该有事。袁州推官郭谏臣因公事路过严嵩府宅，看见一千多工匠正大修府邸。严府仆人作监工，望见郭推官根本不起身见礼。郭谏臣大怒，上状于御史林润。这位巡察御史先前劾奏过严嵩党徒，很怕日后严嵩父子重起遭到报复，见此状大喜，立刻添汕加醋，上奏严世藩在江西阴聚徒众，诽谤朝议，图谋不轨。同时，他还奏称小严聚数千人（一下把数目扩大几倍）以修宅为名，阴谋造反。
疏上，嘉靖帝大怒，命林润诏逮严世藩等人入主京审讯。