做法引起了孙嘉绩、熊汝霖和钱肃乐等领导的义兵的不满，这些义兵被排挤到了边缘。更严重的是，方国安和王之仁无视朱以海的反对，擅自分配了浙东各府县每年的六十余万钱粮，导致许多义兵因为断绝了粮饷来源而解散。这种情况进一步削弱了浙东地区的抵抗力量，使局势更加危急。
与此同时，朱以海还面临了一个棘手的问题——宗室内部的分歧。早在他出任监国之前，唐王朱聿键已经在福州称帝，即隆武帝。从血缘上看，朱以海和朱聿键都是明太祖朱元璋的后代，与朱由检相比，他们在血缘上更为亲近。从拥立时间上讲，朱聿键比朱以海更早称帝，并且得到了除浙东以外的其他南明势力的认可。
在这样的情况下，朱聿键派遣使者来到绍兴，要求朱以海退位归藩。迫于压力，朱以海于九月十三日宣布退位，返回台州。然而，十月初一，张国维和熊汝霖等大臣坚持认为应该继续支持朱以海，于是再度迎回朱以海，拒绝接受隆武帝的诏书。
三、唐鲁之争
顺治三年（1646年），随着南明政权内部的矛盾日益激化，唐王朱聿键与鲁王朱以海之间的争斗也达到了高潮。这场被称为“唐鲁之争”的冲突，深刻地影响了南明政权的命运。
正月，朱聿键派遣都御史陆清源携白银十万两前往浙东犒赏军队，试图拉拢朱以海及其部下的将领们。然而，陆清源一行在途中遭到朱以海部将的杀害，这无疑激化了双方的矛盾。此事件的发生，不仅仅是对朱聿键权威的挑战，也是对整个南明政权稳定性的打击。
为了进一步巩固自己的地位，朱聿键积极笼络朱以海政权中的文官武将，给予他们高官厚禄，希望能够争取更多的支持。面对这样的压力，朱以海也不甘示弱，采取了一系列针锋相对的措施。同年四月，他派遣左军都督裘兆锦和行人林必达到福京，意图以公爵的高位封赏郑芝龙兄弟，以此来争取郑芝龙的支持。
朱聿键闻讯后勃然大怒，立即将前来使节囚禁，并不久后处决了朱以海派遣的另一使者总兵陈谦。这一系列行动进一步加深了双方的对立。尤其是朱以海派遣使者的举动，让郑芝龙感到不满，也使得原本就紧张的局势更加恶化。
朱以海坚持与隆武朝廷分庭抗礼的态度，加上他的