契丹败退，北疆暂保无忧。李存勖开始调兵南下，推锋至黄河岸边，与梁军夹河对峙，争夺黄河沿岸各要。

天祐十二年（915年），魏博节度使杨师厚病逝。梁帝朱友贞趁机将魏博镇分为两镇，以削弱藩镇势力，结果引发魏博兵变。变兵囚禁新任节度使贺德，请降于晋。李存勖乘势占魏州（治今河北大名东北），并死变兵首领张彦等人，以威慑兵变士卒，稳定局。他收魏博牙兵为亲军，亲自兼领魏博节度使，随后又攻取德州、澶州（治今河南清丰西）。是年七月，李存勖兵莘县，与梁将刘鄩展开对峙。

天祐十四年（917年）十二月，李存勖率军东，连破梁军数座营寨，攻陷杨刘城（魏州通向郓州的重要渡，在今山东东阿北），俘获守将安彦之，并攻掠至郓州（治今山东东平）、濮州（治今山东鄄城北）一带。当时，朱友贞正在洛行祭天大典，闻讯仓皇赶回汴州，组织复夺杨刘城。但谢彦章数次用兵，始终未能收复杨刘城。

柏乡之战后，李存勖决定暂缓对后梁的攻势，先夺取河北地区，以消除后顾之忧，首要目标便是囚禁父亲刘仁恭而继任幽州节度使的燕王刘守光。他采用骄兵之计，联合成德、义武、昭义、振武、天德五镇，遣使奉册，共尊刘守光为尚父，以滋长其野心。刘守光却以为六镇是畏惧幽州兵威，更是骄狂。他得知尚父无权祭天、改元，不顾幕府诸将反对，于天祐八年（911年）八月在幽州悍然称帝，国号大燕，史称桀燕。是年十二月，李存勖命周德威兵飞狐（在今河北蔚县），联合成德镇、义武镇一同征讨刘守光。

天祐十年（913年），朱友贞发动政变，诛杀朱友珪，夺取帝位，史称梁末帝。而晋军则连夺幽州镇统辖的顺州（治今北京顺义）、檀州（治今北京密云）、武州（治今河北宣化）、平州（治今河北卢龙）、营州（治今辽宁朝）等地。是年十一月，李存勖亲征燕国，攻破幽州，俘获刘仁恭（一直被刘守光囚禁）、刘守光父。他留周德威镇守幽州。

天祐十三年（916年），李存勖声言回师太原，以引诱刘鄩战。刘鄩果然中计，趁机夺回魏州，结果遭到李存勖、李嗣源、符存审的三面夹击，在元城一战中全军溃败，逃奔州（治今河南县）。此后，李存勖又遣军接连攻取卫州（治今河南卫辉）、洺州（治今永年东南）、相州（治今河南安）、邢州（治今河北邢台）、沧州、贝州（治今河北清河西）等地。黄河以北除黎（治今河南浚县东）一地外，全被晋国占领。梁晋形势从此发生逆转。

天祐九年（912年），周德威夺取涿州，围幽州。刘守光忙向后梁求救。朱温亲率大军北上，命杨师厚围攻枣，又命贺德攻打蓚县（治今河北景县）。但梁军虽攻破枣，却在蓚县被晋将符存审、史建瑭击败。朱温羞愤发病，返回洛，不久便被其朱友珪弑杀。

思安仅率数十骑连夜逃归。成德镇、义武镇从此彻底倒向晋国。

天祐十四年（917年），寿州刺史卢文叛附契丹，并引契丹军南下。契丹皇帝耶律阿保机亲率五十万大军，寇幽州。守将周德威孤军守幽州，同时遣使向李存勖求援。李存勖遂命符存审、李嗣源、阎宝统领七万步骑，北上救援。是年八月，李嗣源率援军抵达幽州城外，大败契丹军，解除幽州之围。此战，晋军俘斩以万计，缴获羊、辎重无数。

天祐十一年（914年），李存勖返回太原，死刘仁恭父，以祭奠李克用。当时，李存勖南破后梁，北定桀燕，威震天下。王镕、王直相继遣使晋，共推李存勖为尚书令。存勖依礼三辞，而后接受尚书令之职。他在太原开设霸府，建立行台，以唐朝皇帝的名义承制任命官吏。

天祐十五年（918年）八月，李存勖调发河东、魏博、幽州、横海、义武等镇军队，齐集魏州，准备直捣汴州，一举灭亡后梁。是年十二月，李存勖由濮州境内的麻家渡渡过黄河，驻胡柳陂（在今山东鄄城西北），与梁军展开血战。晋军大败，周德威战死。李存勖被迫据土山自保。当时，围山梁军多是步卒，而且立足未稳。李存勖采用阎宝、李建及的建议，以骑兵突击，终于反败为胜，击溃梁军。此战，晋军虽乘胜夺取濮，但也因伤亡