直鲁联军中的鲁军，其前身是奉军第2军副军长张宗昌部。1925年4月，奉军第2军副军长张宗昌率部南下，抢夺了山东地盘，北京政府将原皖系山东督军郑士琦调任安徽督办，由张宗昌任山东督办。

张宗昌，字效坤。山东掖县人，生于1881年2月13日。家境贫穷，小时随其母逃至营口，在一家“宝棚”为赌棍帮闲，日与小偷扒手为伍，后流落北满当胡匪。辛亥革命爆发后，张宗昌由关东率胡匪百人至烟台，投山东民军都督胡瑛部当兵。1912年转投上海都督陈其美部下，升任光复军骑兵团长。

1913年，“二次革命”时，在徐州背叛民军，投靠北洋军江淮宣抚使冯国璋。1916年春，陈其美在上海策动反袁时，张宗昌接受袁世凯的金钱收买，秘派其营长程国瑞将陈其美暗杀，深得冯国璋的信任，先后升任旅长、军官教育团团长。同年11月，冯国璋任副总统后，委张宗昌为侍从武官长。

1918年初，张宗昌任苏军第6混成旅旅长，率部随湘赣检阅使张怀芝假道江西攻湖南。4月下旬在攸县以南与湘、桂系护法军交战，一触即溃，大败而逃。其后经醴陵转至湘南，收集大量溃兵，改任暂编陆军第1师师长。到1920年6月，张宗昌部退入江西袁州（今宜春)驻防。1921年初，其军队在吉安闹饷被赣督陈光远解散，张宗昌只身北归转投奉军，任宪兵营长。

1922年5月，第一次直奉战争后，前吉林军师长高士傧起兵反奉。张作霖令张宗昌出兵迎击，一战获胜，得张作霖器重，被委任绥宁镇守使，升任吉林省防军第3旅旅长。同年冬，张宗昌又收容一批逃人中国境内近万人的白俄匪军，得到大量枪炮马匹及铁甲车等物，遂成为奉系实力派之一。

1924年，第二次直奉战争时，张宗昌升任镇威军第2军副军长兼第3混成旅旅长。率部向热河进攻，连占阜新、朝阳、开鲁、凌源、建平等要地，进抵冷口与直军激战。10月23日，由于直军将领冯玉祥突然从古北口回师北京，发动政变，使直军正面防线动摇，张先于奉军各军由冷口插入关内，进占滦州切断了榆关方面直军退路，使直军一败涂地。张乘势收编了吴佩孚军队的4个旅，使自己的实力猛增，一跃而为战斗力较强的一支奉军。

张作霖战胜吴佩孚后，为夺取关内的地盘，升张宗昌为东北陆军第2师师长。张又将直军败兵扩编为6个旅又两个梯队。

东北陆军第2师编制序列(1924年10月）

东北第2师 师长 张宗昌

第三旅 旅长 褚玉璞

第28旅 旅长 程国瑞

第29旅 旅长 许琨

第32旅 旅长 毕庶澄

卫队旅 旅长 方永昌

补充旅 旅长 姚霁

第1梯队 队长 聂嘉夫

第2梯队 队长 方振武

1924年11月24日，段祺瑞的中华民国临时总执政的政府成立后，张作霖违背曾向冯玉祥允诺不向关内进兵的约定，不仅派兵威逼京畿，谋取直隶地盘，而且积极准备南下。12月7日，张作霖在天津召集直隶督办卢永祥，陆军总长吴光新，奉军将领李景林、张宗昌等人开会，讨论如何对付直系长江各省督军及将奉系势力向南扩张的办法。

张作霖极力主张奉军南下，沿津浦路推进到直系长江各省；卢永祥欲报江浙战争之仇，重新回到自己失去的地盘；李景林当然愿意卢永祥南下，以便他接任直隶督办；张宗昌则支持卢永祥，希望跟随卢永祥南下以便借机谋得一省地盘。因此，决定请段祺瑞先下令免齐燮元职，并决定推张宗昌以津浦路警备司令名义，率部先行由天津南下。

当时，段祺瑞也幻想借张作霖的兵力，恢复其皖系失去的江、浙地盘，遂于12月11日，下令免去齐燮元江苏省督军之职，以江苏省省长韩国钧暂兼督办江苏军务善后事宜,特派卢永祥为苏皖宣抚使。张作霖趁机升张宗昌为宣抚军第1军军长，令张率部随卢永祥南下淞沪。

由于江苏督军齐燮元内部涣散，没有经过重大战争，张宗昌部就进占上海，夺得了江苏的地盘。齐燮元宣布下野后，所部交由孙传芳接收。此时，浙江督军孙传芳深恐奉系进人江苏后，欲图浙江，于是极力反对奉军进占上海。张作霖也恐战线过长，与孙传芳妥协，将张宗昌部撤回徐州。

1925年2月，段祺瑞委张宗昌为苏皖鲁三省剿匪总司令，驻防徐州。4月，张作霖借“鲁人治鲁”的口号和津浦划作奉系势力范围的成约，向段祺瑞提出了张宗昌督鲁的要求。时任山东督军的郑士琦不愿让位，便指使鲁军将领通电反对更换本省长官。

但张作霖对山东地盘志在必得，不断向段祺瑞施加压力，迫使段祺瑞向奉系妥协，遂于4月24日调山东督办郑士琦为安徽督办，王揖唐专任安徽省长，而以张宗昌继任山东督办，姜登选为苏皖鲁剿匪总司令。

张宗昌进人山东以后，对原山东的军队进行了改编或遣散，对于持反对态度的地方部队，毫不含糊地予以武力解决。这样，张宗昌总共改编原山东军队2.8万人，加上随其开进山东的5个旅和两个梯队约6.5万人，总兵力约为10万之众。至此，张宗昌部已成为奉军中一支不可小觑的重要力量。不久，奉军整编，将张宗昌部改编为东北陆军第2师，张宗昌兼任师长。