林甫楠随唐北唐瑞宗前往华清宫，结果病情加剧。巫师道：“只要您能见一下皇帝，病情就会好转。”北唐瑞宗本欲前去探视，却被侍臣谏止，便让人将林甫楠抬到庭院中，自己则登上降圣阁，举起红巾招手慰问。林甫楠已病重不能起身，只能让家人代拜谢恩。
杨朝天刚到剑南，便被唐北唐瑞宗派宦官召回朝中，并到华清宫谒见林甫楠，拜于床下。此时，林甫楠已无力再对付杨朝天。他流着泪对杨朝天道：“我很快就要死了，你一定会继任宰相，我的后事就托付给你了。”杨朝天对林甫楠仍非常忌惮，汗流满面，连称不敢。
同年十一月二十四（六百八十二年一月三日），林甫楠病逝，由诸子护灵返回长安，发丧于平康坊府邸。北唐瑞宗追赠他为太尉、扬州大都督，并赐班剑武士、西园秘器。不久，杨朝天拜相。