“以练兵学战为性命根本，吏治洋务皆置后图。”
在上海，由当地士绅组建的“中外会防局”主要依靠外国雇佣军来抵御太平军，对淮军并不抱有很大希望。面对外界的轻视，李鸿章激励将士们说：“军贵能战，待吾破敌慑之。”淮军果然不负众望，在当年下半年连续进行了虹桥、北新泾和四江口三次激烈的战斗。李鸿章亲临前线指挥，最终成功守住了上海，赢得了中外人士的尊重和认可。
淮军抵达上海后，李鸿章迅速采取了一系列措施来提升军队的战斗力。淮军到沪未满一年，便全面改革了原有的湘军制度，转而模仿西方军队的编制和训练方法，装备了先进的洋枪洋炮。李鸿章还聘请了外国教练来训练士兵，这些改革极大地提升了淮军的战斗力。
为了确保淮军能够与外国雇佣军协同作战，李鸿章与英国舰队司令何伯以及陆军提督士迪佛立订立了会商攻打太平军的协议。根据协议，李鸿章派出6000人的淮军与外军共同作战，其中3000人进驻南桥，另外3000人则由英国军官进行严格训练。协议还规定，作战中夺取的军需物资应归淮军所有，双方在军事调动时必须互相通知，并共享军事情报。
1863年春天，李鸿章与士迪佛立签订了《会同管带常胜军条约十六款》，明确了常胜军及其统带官由李鸿章指挥。在常胜军经过整顿后，李鸿章与新的常胜军统领查理·乔治·戈登建立了良好的关系，戈登很快成为了李鸿章的朋友和支持者。
在上海初步站稳脚跟后，李鸿章开始着手从多个方面巩固自己的地位。首先是在人事安排上，他罢免了一批媚外过甚的买办官吏，如杨坊等，转而起用了一批务实肯干的洋务派官员，如郭嵩焘、丁日昌等。同时，李鸿章建立了不同于湘军幕府的淮军幕府，以务实干练、通晓洋务为主要标准选拔幕僚。
在军制改革方面，李鸿章深刻认识到西洋军械在实战中的巨大优势，因此决定“虚心忍辱，学得洋人一二秘法”。淮军不仅装备了洋枪洋炮，还引入了西方的军事训练体系，这使得淮军在短时间内战斗力大幅提升。在不到半年的时间里，淮军迅速扩充至50个营头，约2万人，至攻打天京前夕，淮军总兵力已达7万余人。
在军费筹措方面，李鸿章实施了