杨文，和州含山县人，其父杨兴自巢县归附朱元璋，官至管军总管，在攻打江州时阵亡。当时杨文尚幼，不能从军，由其叔父杨旺补役。
杨旺征鄱阳湖阵亡，杨文于第二年，领神枪从征，随大军征讨西北凤翔等地。此后，他一直在南方执行军务。杨文随傅友德征讨云南，十八年因功“升建昌卫世袭指挥佥事”。建昌卫指挥使月鲁帖木儿叛乱，杨文随蓝玉前往征讨，战后“升为右军都督府都督佥事，诰封骠骑将军”，并“世袭指挥使”。从杨文早年的经历可以得到以下信息：第一，他的仕途很平稳，级级晋升，没有大起大落；第二，他大多数时间都是在南方作战，缺少在北方统兵作战的经验。
杨文一直是作为偏裨将校随军出征或戍守地方，洪武二十六年以后，这位原本默默无闻的中下级武将逐渐受到重用，成为执掌方面的统兵主帅。之所以在这时受到重用，从主观上讲是他个人努力的结果，从客观上讲则是朱元璋发动的“胡蓝之狱”铲除了大批功臣，造成了军事人才的匮乏，从而为杨文的晋升提供了机遇。史载，至洪武末年，开国功臣“存者唯炳文及武定侯郭英二人”，为了弥补军职的空缺，朱元璋不得不提拔中下级军官，杨文就是在这一背景下得到晋升，成为国家的高级将领。
杨文以右军都督佥事之职出任海运总兵，奉命“率京卫将士运粮往辽东”，在此之前，开国功臣靖海侯吴祯、延安侯唐胜宗、舳舻侯朱寿等人都曾“总舟师”由登、莱转运粮饷物资到辽东，以后“岁以为常”，足见朝廷对此事的重视。这次担任海运总兵，是他第一次以主帅身份执行军务，意义非同寻常，这意味着他已经拥有“执掌方面”的权力了。杨文不负朝廷重托，出色地完成了任务，被提升为左都督，这是武将的最高官品，十分显赫。倭寇侵扰浙东沿海，杨文奉命同都督刘德、商巡视两浙，节制沿海诸军，防御倭寇。
广西龙州、奉议、南丹等州土官或抗拒“朝命”、或“叛逆”明朝，明朝廷“诏发”湖广、江西所属卫所马步官兵6万多人，又命征南将军杨文为总兵官，率京卫马步军3万人同时到达广西，会讨龙州、奉议、南丹等地。得知朝廷兴师征讨，龙州土官赵宗寿慌忙奉表请降，并亲自“来朝谢罪，贡方物”，明廷下令停止对龙州用兵，令杨文移