不向赣州主事问罪，却拿魏光绪替罪，人们都感到不服，觉得魏光绪蒙受了冤枉。后来，尚书省出面为其白冤，也仅仅是落了个“得勿问”，不再继续追究他罢了。
魏光绪免官归田后，仍忧国忧民，不遗余力。武乡遭遇了3次大灾，每一次大灾降临，必是饿殍相望，哀鸿遍野，魏光绪把家中囤积粮米尽数发出，分厂设粥棚赈济饥民，每日两次，先后赈济救活3000多人。同时，他设立慈幼局，派人收拣在路途中遗弃的婴幼儿，给以哺乳，他出资建造义冢，收葬那些抛尸在外的孤魂野鬼，他行医施药，救死扶伤，为穷苦百姓解除病痛。总之，他仗义疏财，扶危济困，拯救穷苦乡党，真是一言难尽。
更值得大书特书的是，他深谋远虑，主张“输血不如造血”，总是设法帮助人们恢复和发展生产，走到哪里就将恩泽带到那里。一日，他出游来到监漳村，发现村南青溪涧水日夜流淌，完全可以利用来浇灌田园。于是，他直接出资，说动当地父老，并亲自勘测设计，亲督工役疏浚，开挖修建了一条自流引水渠，将涧水引入良田，这便是武乡县历史记载最早的一项水利工程设施。
为了保境安民，魏光绪不惜重资投入，武乡县城东南城墙毁坏，“不良于守”，他捐资重建，将塌损的城砖拆除，全部更以大石。又重修东城门以及城楼，花费白银1000余两。他还造炮、筑寨，加强县城的军事守备，流寇经由襄垣直扑武乡县城，魏光绪亲自协助县令守城，并急调由自己蓄养并亲手提拔的权店守备营参守张一龙和百总孟克济率部前来解困。他亲自运筹，命令张一龙、孟克济夜袭敌寨，三战三捷，斩敌首俊虎，杀敌50余数，将贼击败。二人追敌至漆树坡，遇敌援兵大至，陷入重围，张一龙受伤自刎，孟克济奋战力竭被杀。
魏光绪，一生热爱吟哦，性喜为文，每遇暇时，或登高览胜，或游迹茂园，触景生情，每每以诗词文赋加以记述。他文辞风雅，意境深远，往往有超凡脱俗，驭气趁风之妙。即使在战火连天的两军阵前，他也照例呕咏不废，留下了许多脍炙人口的佳作，留下的文稿于身后大部散佚。现存的大都收在古版《武乡县志》中。由于他一向豁达儒雅，风流倜傥，所以，当时人们以“风流宰相，唯有谢安”来相推许。
魏光绪英年早