郭子兴去世后，小明王韩林儿任命郭子兴的儿子郭天叙为都元帅，妻弟张天佑为右副元帅，朱元璋为左副元帅。
名义上，都元帅是军中之主，右副元帅的地位也比左副元帅高。但是，滁州和和州的军队，多是由朱元璋招募收编的，而且朱元璋比郭天叙和张天佑有勇有谋，并且手下又有大量人才。所以，朱元璋事实上成了这支队伍的主帅。
朱元璋在浙西驻扎六年，借助覆船山为中心的秘密明教总舵，奉行徽州谋士朱升提出的“高筑墙，广积粮，缓称王”的策略，迅速秘密扩张自己的实力，这三条战略是朱元璋发展初期的指导思想。
朱元璋在和州驻守几个月后，粮食供应成了问题。
与和州相对，紧靠长江南岸的太平、芜湖是盛产稻米的地方，但是没有船只。
这时，恰好两支红巾军的巢湖水军前来归附，朱元璋亲自处理合并事宜。
七月间，巢湖水军千余只战舰突破元军封锁抵达和州。
朱元璋的步马军登上巢湖水军的船只，从和州东渡长江。到达对岸的采石，常遇春率军冲杀，攻克采石，获得大量粮食。
将士想把粮食和战利品运回和州慢慢享用。
朱元璋果断地命人砍断船缆，任船顺流而下，断绝退路。
将士们见无路可退，一鼓作气，在朱元璋率领下攻克太平。
进入太平后，朱元璋重申军纪，严禁掳掠，有个别兵士犯禁，立即处死，因此，朱元璋的军队受到当地百姓的拥护。
朱元璋于是置太平兴国翼元帅府，自己做元帅，任命李善长为帅府都事。
这样一来，朱元璋便开始了稳固根据地的工作。
也就在这时，朱元璋和张士诚杠上。
至正十六年，公元1356年三月，张士诚在长江三角洲地带发起攻势，进攻江南元军。
乘此机会，朱元璋亲自统率水陆大军，第三次进攻集庆。
在第三天，攻破城外的陈兆先军营，其部三万六千人归降朱元璋。
但是，朱元璋看出降军心存疑虑，军心不定。
于是，朱元璋就从降军中挑选了五百名勇士当亲军，在夜里守卫，而自己身边，只留有亲兵统领冯国用一人。
第二天，降军知道此事，都十分感动，疑虑全消，甘愿跟随朱元璋打天下。
这样一来，战争进行得十分顺利，不到十天，朱元璋便攻下集庆。
朱元璋进城后，下令安抚百姓，改集庆为应天府。
小明王韩林儿获报后，升朱元璋为枢密院同佥，不久又升为江南等处行中书省平章。
朱元璋在应天则设天兴建康翼大元帅府，以廖永安为统军元帅，李善长为左右司郎中。
次年，耿炳文克长兴，徐达克常州，而朱元璋亲自率众攻取宁国。随后赵继祖克江阴、徐达克常熟。胡大海克徽州、常遇春克池州，缪大亨克扬州。
至正十九年，公元1359年，朱元璋陆续攻占浙东余下各地，常遇春克衢州、胡大海克处州，至此朱元璋部控制江左、浙右各地，向西与陈友谅部相邻。
此时，尽管朱元璋拥有十万兵力，但是占有的地盘仍然很少，而且四面受敌。