抓起来，又让杨昂杀死刺史和太守，杨阜内心怀着复仇的志向，只是一时寻不着机会。不久杨阜告假，请求埋葬亡妻，杨阜的外兄姜叙屯兵历城。杨阜从小在姜叙家长大，他见到姜叙和叙母之后，叙说了冀城陷落的经过，悲泣不已。姜叙说：“何以如此悲恸”杨阜说：“守城却又守不住，君长已死而不能同命，我还有什么脸活着呢马超背叛父辈，背叛国家，烧杀将士，这何止是我个人怕受人指责，全州士大夫都要蒙受耻辱，您带兵专管一方却没有讨杀贼逆之心，这正是史书上所说的‘赵盾弑其君’的情形。马超虽强，却无视信义，部下矛盾重重，所以打败他并非很困难。”姜叙的母亲很感慨，敦促姜叙听从杨阜的劝说。
定下计谋后，又与同乡姜隐、赵昂、尹奉、姚琼、孔信，武都人李俊、王灵等联络结盟，共同讨伐马超，又派从弟谟到冀城告诉杨岳内情，并联络了安定的梁宽，南安的赵衢、庞恭等。盟誓以后，杨阜和姜叙在卤城起兵，马超闻讯后亲自率兵出击，赵衢、庞恭等救出杨岳，关闭冀城大门，抓住马超妻儿。马超袭击历城，抓住姜叙的母亲，姜叙母亲骂道：“你是个背叛父亲的逆子，你是杀害君长的叛贼，天地不容，还不早死，还有什么脸见人!”马超大怒，杀死姜叙母亲，杨阜与马超作战，五处受伤，宗族兄弟死了七人，马超南逃，投奔张鲁。杨阜联合姜叙等人，为故主报仇，把马超势力完全逐出了西凉，完成了曹操在渭水一战，想要达到而没有达到的目的，这样的智谋是不简单的。
杨阜应该是个文官，但他在对马超的战争中奋勇拼杀，早在守冀城时，他“率国土大夫及宗族子弟胜兵者千余人，使从弟岳于城上作偃月营，与超接战，自正月至八月拒守而救兵不至。”后来驱逐马超时，杨阜又“身被五创，宗族昆弟死者七人。”，是一员智谋和勇气都十分过人的大将。
陇右平定曹操封赏讨伐马超的功臣，封侯者十一人，杨阜为关内侯，杨阜却推辞说：“我杨阜没有保护好州君性命，他们死后，我也没有尽节报孝，在道义上我应被罢黜，在法律上我应被诛杀，马超又没被杀死，我实无权再受爵禄。”曹操说：“你与君臣共创大功，西部百姓至今挂在嘴边，作为美谈，子贡辞让封赏，孔子认为不妥，你尽心报国可嘉，姜叙的母亲劝姜叙早日起兵，实