自公罢去，上数为大臣言吴某刚正可用，每召之，辄以疾不至，于是召还，始侍讲禁中，判通进银台司、尚书都省。明年，拜宣徽南院使、延路经略安抚使、判延州。庞丞相经略河东，与夏人争麟州界，亟筑栅于白草。公以谓约不先定而亟城，必生事。遽以利害牒河东，移书庞公，且奏疏论之，皆不报。已而夏人果犯边，杀骁将郭恩，而庞丞相与其将校十数人皆以此得罪，麟、府遂警。既而公复以疾辞不任边事，且求解宣徽使，乃复以为资政殿大学士、尚书左丞、知河中府，遂徙河南。公前在河南，逾月而去，河南人思之，闻其复来，皆欢呼逆于路，惟恐后。其卒也，皆聚哭。
公享年五十有五，以嘉三年四月十五日卒于位，诏辍朝一日。曾祖讳进忠，赠太师；妣陈氏，吴国太夫人。祖讳谅，赠中书令；妣葛氏，越国太夫人。父讳待问，官至礼部侍郎，赠太保；妣李氏，楚国太夫人。娶王氏，太原郡夫人。子男十人：安度、安矩、安素，皆太常寺太祝；安常，大理评事；安正、安本、安序，皆秘书省正字；安厚，太常寺奉礼郎；安宪、安节未仕。女三人：长适集贤校理韩宗彦，次适著作佐郎庞元英，皆早卒；次适光禄寺丞任逸。
公在二府时，太保公以列卿奉朝请，父子在廷，士大夫以为荣。而公〈〉不安，自言子班父前，非所以示人以法，顾不敢以人子私乱朝廷之制，愿得罢去，不听。天子数推恩群臣子弟，公每先及宗族疏远者，至公之卒，子孙未官者七人。有文集五十卷，尤长于论议。铭曰：
显允吴公，有家于闽。自公皇考，卜兹新原。厚壤深泉，乐其宽闲。今公其从，公志之安。公昔尚少，始来京师。挟其二季，名发声驰。乃赐之策，以承帝问。语惊于廷，有伟其论。乃登侍从，乃任大臣。出入险夷，周旋屈伸。公所策事，先其利害。初有不从，后无不悔。公于临政，简以便人。人失而思，愈久弥新。帝曰廷臣，汝刚而直。来汝予用，断余不惑。公曰臣愚，负薪之忧。帝为咨嗟，公其少休。优以本邦，宠其秩禄。尚冀公来，公卒不复。史臣考德，作铭幽宅。
【镇潼军节度观察留后李公墓志铭〈嘉五年〉】
嘉五年八月某日，镇潼军节度观察留后、知澶州军州事、陇西李公得暴疾，薨于州之正寝。其以疾闻也，上方宴禁中，为止乐，命中贵人驰国医往视，未及行而以薨闻。诏辍视朝一日，赐其家黄金三百两，赠公感德军节度使，已而又赠兼侍中。太常谥曰某。即以某年某月某日，葬于开封府开封县褒亲乡先茔之次。
公讳端懿，字元伯，开封人也。右千牛卫将军、赠太师、尚书令兼中书令、陇西元靖王讳崇矩之曾孙，连州剌史、赠太师讳继昌之孙，镇国军节度使、驸马都尉、赠尚书令兼中书令、谥和文公讳遵勖之子。母曰齐国献穆大长公主，太宗之女，真宗之妹，今天子之姑，属亲而尊，礼秩崇显，其淑德美问彰于内外。而和文公好学不倦，折节下士，喜交名公卿，一时翕然，号称贤尉。故李氏之盛，受宠三朝，而天下之士不侈其荣，而乐道其德。
公为冢子，于其家法习见安行，不待教告。少笃学问，长而孝友。喜为诗，工书画，至于阴阳、医术、星经、地理无所不通。七岁为如京副使，历文思副使、供备库使、洛苑使、新州刺史、康怀二州团练使、济州防御使。坐知冀州失捕妖人，降授单州团练使、知均州，未行，改滑州兵马钤辖。居岁中，迁汝州防御使、蔡州观察使。天子祀明堂，推恩，徙华州观察使。献穆大长公主薨，起复为镇国军节度观察留后，公泣血辞让，愿终丧制。上不许其让，许其终丧，给以全俸。服除，拜镇潼军节度观察留后。累阶金紫光禄大夫，勋上柱国，爵开国公，食邑四千四百户、实封九百户。
公为儿时，上在东宫，真宗命公侍研席，上尤亲爱，尝解方玉带赐之。稍长，出入宫禁，礼如家人。虽燕见，语不及私，数为上陈朝廷阙失，开说古今治乱，多所补益，退而未尝言。公既薨，得其遗稿之未上者，言宗室事甚详，其余不传。
公少自勉励，见士大夫有失节废义者辄叹曰：“士起寒苦，以学行自名，至牵利欲，遂亡其所守，况骄佚易习，而生长富贵间邪！”故常惕然痛自刮磨，思立名节。闻一善士，倾身下之，而贤士大夫亦乐与之游。以此多得名誉。