，纷纷提议推举刘兰成为主帅。刘兰成却坚决推辞，说道：“我本为保郡城而来，今虽不得已投奔，但不敢僭越。”
綦公顺见他态度坚决，便任命他为长史，军中事务皆听从他的意见。
刘兰成在綦公顺军中韬光养晦，暗中谋划。五十多天后，他挑选了一百五十名精锐士兵，准备对北海郡城发动一次奇袭。
他将军队分为数队：在距离城四十里的地方，留下十人，命他们割草并堆成百余堆；在距离城二十里的地方，留下二十人，各执大旗；在距离城五六里的地方，留下三十人，埋伏于险要之处；刘兰成亲自带领十人，趁夜潜伏在距离城一里左右的地方；剩下的八十人则分散在便于行动的位置，约定听到鼓声后立即抢夺人畜，并迅速撤离，同时点燃草堆。
次日清晨，城中守军见远处并无烟尘，以为城外已无敌军，便放松了警惕，百姓纷纷出城打柴放牧。日上三竿时，刘兰成带领十人直抵城门，城上守军见状，慌忙敲响锣鼓。
听闻鼓声，刘兰成先前埋伏的伏兵四出，抢走了十几头牲畜和一些打柴放牧的百姓。
刘兰成在城门处与守军对峙片刻，估计抢掠的伏兵已经走远，便率众缓缓撤退。城中虽派出追兵，但因担心有埋伏，不敢急追，又见前方旌旗招展、烟火四起，便不敢再进，只得退回城中。
事后，城中守军得知刘兰成此次行动仅带了少数人马，后悔不已，叹息未能穷追不舍。然而，为时已晚。
一个月后，刘兰成再次谋划夺取北海郡城。他带领二十人直抵城门，城中守军见状，以为此次刘兰成还是带领为数不多的兵力，便纷纷出城追击。刘兰成且战且退，将追兵引至十里之外。
此时，綦公顺率领大军突然杀到，郡兵大惊，急忙回撤。綦公顺乘势进军，将郡城团团围住。
刘兰成站在城下，高声劝降：“城中百姓、将士，何必为无谓的抵抗白白送死？若能开城投降，我必保你们平安！”
城中军民早已疲惫不堪，听闻此言，纷纷出城投降。刘兰成入城后，安抚老幼，礼遇郡中官员，甚至对曾陷害自己的宋书佐也以礼相待，并资助他离开郡城。郡城内外，自此安定。
刘兰成以其智谋与胸怀，不仅保全了郡城，也