麟与曾国藩共同制定了长江水师的营制，确立了一系列规章制度来确保水师的有效运作。次年春天，彭玉麟请求回家守孝，并得到了朝廷的批准，由黄翼升接替其职务，掌管长江水师。然而，在彭玉麟离开后，长江水师逐渐失去了纪律性，出现了许多问题，包括士兵生活奢侈、技能退化等，甚至有人建议废除这支水师队伍。
同治十一年（1872年），随着曾国藩的去世，清廷再次召回彭玉麟，希望他能够巡阅并整顿长江水师。面对水师内部的问题，彭玉麟提出了详细的改革方案，强调必须谨慎选拔将领、革除不良习惯、加强军队管理和恢复原有的制度。他还特别指出，长江水师不应该同时训练弓箭技术，以免分散精力。此外，彭玉麟对一百多名表现不佳的军官进行了弹劾，并建议让身体状况不佳的黄翼升退休，推荐李成谋接任长江水师提督一职。经过他的努力，长江水师的士气和战斗力得到了显着提升。
年底，彭玉麟入京觐见皇帝及两宫太后，讨论了长江水师以及江海防御的相关事宜。慈禧太后对他提出的见解表示赞赏，并授予他“紫禁城骑马”的荣誉。随后，彭玉麟被任命为兵部右侍郎，参与了同治帝大婚的筹备工作，担任宫门弹压大臣。不过，他很快又辞去了在京中的官职，回到长江继续巡视工作。
光绪元年（1875年），彭玉麟向朝廷上书，提出国家自强需要从四个方面着手：清理吏治、严格军纪、端正士风、减轻百姓负担。这些提议反映了他对国家未来发展的深刻思考。接下来的几年里，彭玉麟多次往返于湖南与长江之间，继续监督水师的工作。
光绪七年（1881年），彭玉麟被提名担任两江总督，但他连续两次上疏请辞，显示了他对权力并不热衷的态度。最终，朝廷决定让左宗棠接任此职，但仍保留彭玉麟对江防和海防的监督权。在此期间，彭玉麟还就长江提督驻地问题提出了自己的看法，建议江南提督应专注于海防，增加现代化军舰数量；而长江提督则应集中力量于江防，并与海军合作进行联合训练。
光绪八年（1882年），彭玉麟在京察考核中被评为一等官员，显示出他在朝中的地位和贡献得到了广泛认可。次年，他被擢升为兵部尚书，但依旧选择了拒绝接受。即便如此，在之后的考核中，彭