简政中保留骨干，训练骨干，充实基层，并千方百计地阻止其他地区的国民党军队进入山东，还吸收青年知识分子参军，着手培训特种兵，争取大股伪军起义，等等，这一切都是为反攻乃至战后做准备，也就是为防止国民党军队对共产党的进攻，准备一块完整的根据地，并积聚强大的武装力量。
长期的武装斗争，已经把罗荣桓锻炼成为一名合格的战略家。
但抗日战争毕竟还没有结束，当时国内的主要矛盾仍然是中华民族与日本侵略者之间的矛盾，中共中央也曾于当年4月5日给山东下达指示：目前应争取国内平静，拉蒋抗日。因此，罗荣桓在文章中又指出：要紧紧掌握对敌斗争的原则。他说：“对友顽军还是以争取为主，打击只是为了向其反动行为作警告或正当自卫。”“……只要我们掌握了民族矛盾，集中力量在对敌斗争上取得更多的自主，我们就必然能成为团结抗战的中心，必然有政治优势，必然成为不可战胜的力量。”
对于日军，罗荣桓指出，不能因为它收缩防线，采取重点防御而低估他们的力量。他说：“肯定地说，今天敌人的力量还是很强很大的，既然有力量进攻正面（即同正面战场上的国民党正规军作战），也就有力量‘扫荡’我们敌后山东……虽然今天敌人撤了一些据点，但其战略据点和战略联系线加强了，机动兵力集中了，对我突然‘扫荡’和奔袭的可能性也就增多了。我们如果对敌人存在丝毫疏忽和麻痹，都必将付出血的处罚。”
此后，山东的日军对八路军虽然未采取大规模的进攻行动，但罗荣桓对那些有盲目乐观情绪的人的警告，为八路军的局部反攻和最后反攻扫除了思想障碍。
从“游击”到“运动”
1944年4月12日，毛泽东在延安高级干部会议上所作的报告中指出：“现在的任务是要准备担负比较过去更为重大的责任。我们要准备不论在何种情况下把日寇打出中国去。为使我党能够担负这种责任，就要使我党我军和我们的根据地更加发展和巩固起来，就要注意大城市和交通要道的工作，要把城市工作和根据地工作提到同等重要的地位。”
1944年6月5日，中共中央发出《关于城市工作指示》，强调：不占领大城市与交通要道，就不能驱逐日寇出中国。根据地游击战争应采取各种妥善办法向城市四周与要道逼近，在那里建立隐蔽的游击区，以利城市与要道工作的进行。
7月1日，又发出《中共中央关于整训军队的指示》，指出：全军目前47万人，欲以此在反攻前坚持与发展根据地是够用的，但欲以此在反攻中夺取大城市与交通要道，最后驱逐日寇出中国，并对付国民党方面来的可能的国内突然事变，则是不够的。要担负最后驱逐日寇出中国，并对付可能的突然事变，非有一倍至数倍于现有的军事力量不能胜任。
城市是各个地区的政治与经济中心，要想彻底打败日军，就必须攻占日军控制的重点——城市。八路军把作战的重点由乡村转向城市，这标志着中国共产党战略方针和作战指导思想上发生了重大变化。
共产党不但在为最后反攻做准备，而且也开始为应付战后的不测事件做准备。可是，就在此之前的6月5日，国民党在《对中共问题政治解决提示案》中谈到，共产党的第18集团军及其在各地的一切部队，只能合编为4个军，计10个师，总兵力15万人左右。国民党限制八路军在15万人左右，共产党觉得自己47万还不够，双方矛盾在不断加深。
共产党、八路军不但在政策方针和兵力部署上为反攻做准备，而且在作战方法上也在进行准备，这就是从“游击战”发展为有条件的“运动战”。
在接到中央要求为反攻做准备的指示之前，山东的八路军已经开始行动了。他们在罗荣桓的领导下，制定了总的战略部署，其内容是：完全控制沂鲁山区，扩大诸日莒山区根据地，夺取深入解放区的孤立的日伪军据点，扩大解放区，使胶济路南的三个战略区完全连成一片；向胶济路东段两侧地区发展，以打通和加强胶济路老山前线各战略区的联系；在胶济路北，彻底改变渤海区被敌封锁分割的局面，变游击区为根据地；进一步肃清胶东心腹地区的日伪势力，创造更有利的局面。
同时，罗荣桓在谈到作战原则时，也提到了运动战。敌人兵力的收缩，使得八路军的回旋余地增大，在运动中歼灭小股敌人的机会增加了，因而可以适当地集中兵力进行运动战。
罗荣桓所说的运动战，是发挥自己的特长，避免自己弱点的运动战。战术上要隐蔽突然，速战速决，作战地点最好选在八路军占局部优势的地区。兵力的分散与集中，又不能影响根据地的建设。如鲁中、胶东和滨海可以在一段时间内，各集中四五个团的兵力，渤海和鲁南可以集中二三个团的兵力，这样便达到了集中全区二分之一以上的兵力，从而使自己在战役或战斗上能以优势兵力对付敌人。
罗荣桓还指出了攻势作战的时机选择，一般是：乘敌收缩兵力、调整防务、立足未稳、部署混乱之机发起攻势；敌“扫荡”某一地区时，我可在其他地区迅速发起攻势；敌“扫荡”结束分路回窜时，兵力分散，情绪恐慌，可选择其弱点、尾敌发起攻势。为了迷惑敌人，不宜过早地暴露企图，也不在一个方向上连续作战，而是在各个不同方向，以此起彼伏的方法实施战斗。
根据上述原则，山东军区从1944年初开始，连续实施了系列攻势行动。首先于1月21日，在日（照）莒（县）公路的石沟崖歼灭了汉j朱信斋部。接着，鲁南、胶东、渤海三个军区的部队，先后袭占和逼撤了一批日伪军据点，并歼灭日伪军一部。
1944年初，罗荣桓关注的重点是鲁中军区第三次讨伐吴化文部。
伪和平建国军第三方面军吴化文部，以前虽然两次遭到八路军的打击，但到1944年仍有1万余人。这股伪军盘踞的地区，北靠淄（川）博（山），西通泰（安）莱（芜），连接着胶济、津浦两条铁路，包围着泰山地区，威胁沂蒙区。他们是山东八路军发起反攻的障碍。为了争取有利的反攻阵地，罗荣桓决定发动这次讨吴战役。他曾多次召集山东军区领导人，反复研究了吴化文部的情况。
1944年1月间，罗荣桓派参谋处长李作鹏专程去鲁中，同鲁中军区领导人一起制定了具体作战方案。李作鹏和鲁中军区的领导人根据罗荣桓的指示，决定投入6个团，加上滨海军区的第6团和各县的地方武装与民兵，组织多路梯队发动攻势，进行第三次讨吴战役。
3月25日，正值日军调防、伪军整编，敌伪部署较为混乱的有利时机，八路军开始对吴化文部发起进攻。
吴化文遭到攻击后，就把其第6、第7两军残部集中于以鲁村、悦庄为中心的狭小地区。为挽救吴部，日军除每日派遣飞机轮番助战以外，还以其第54旅团、独立混成第5旅团各一个大队，于3月29日分别从莱芜、临朐出动，对吴部进行支援。
山东军区得此消息后，立即指示鲁中军区：“吴部集中鲁村、悦庄，死守待援，因此在运动中歼敌已无机会，强攻恐难奏效，应迅速结束战役，并防敌人向我出击报复。”鲁中军区接到指示后，除留一部分与敌周旋外，主力当即转移于机动位置，待机歼敌。至此，战役第一阶段结束。
4月初，日军从西南两面共2300余人的增援部队会合于悦庄，掩护吴部重新布防。山东军区决定抓住机会，不断以小部队向敌弱点进攻，使日军捉摸不定。来援的日军始终未能发现八路军主力所在，其歼灭八路军主力的企图落空，不得不于4月8日逐渐回撤。
罗荣桓当即抓住日军回防、吴部调整防务、部署尚未就绪这一良机，命令鲁中军区，对吴化文进行再次攻击。4月15日，鲁中主力围攻驻悦庄附近的吴部第49师一部，全歼吴部一个团又四个连，并以政治攻势招降了吴部独立第4旅的600余人（不久后逃散），迫使吴化文不得不亲率四个团由其总部所在地莱芜郑家王庄东援。八路军乘其后方空虚之际，于4月18日夜间集中兵力奔袭郑家王庄。19日夜，歼吴之总部，打乱了吴部的后方。20日，吴化文被迫率其增援部队及第49师残部撤至鲁村一带，悦庄地区为八路军所控制，整个战役到此结束。
在这次作战中，八路军共毙伤伪军1300余人，俘敌少将以下军官323人、士兵4800余人，连击溃在内共歼灭吴部7000余人，占其总兵力的60％以上。更为重要的是，山东战略要地鲁山山区的大部被八路军所控制。不久，延安的《解放日报》为此发表了社论，题为《鲁中讨吴战役的胜利》，对这次作战给予了高度评价。社论中指出：“这次战役不但对于山东的抗日根据地很重要，而且是敌后战场上我八路军、新四军配合正面战场作战行动的一部分。”
在讨伐吴化文战役结束后，为进一步扩大胜利成果，配合正面战场作战，保卫夏收，罗荣桓又指挥各军区，发动了大规模的夏季攻势。到1944年8月，山东战场的形势发生了更大变化，对八路军更为有利。
罗荣桓神算救机关
山东八路军发动春季和夏季攻势给敌人以沉重打击后，日伪军于8月开始，频繁调动部队，准备进行报复。罗荣桓不断接到各地情报站的报告，说敌人正在集中，其中有日军一个大队、伪军吴化文残部及荣子恒部等共1万余人，集结于莒县、临沂、青口、海州等地。日照有敌600余人已经北进。敌人扬言，要向日照以北地区“扫荡”。
罗荣桓获悉上述情况后，进行了冷静的判断：一股敌人北上，只是佯动，他们的真实意图，是合击驻在莒县南部的山东军区和滨海军区的领导机关。
这时，罗荣桓在山东已呆了五六年，对日军的脾气和惯用战法已摸得八九不离十。当时我军住得比较分散，情报站遍布各地，每天都接到大量情报，其中有些情报是相互矛盾的，如果不对总的情况进行认真的分析，就会产生错误的认识。事实上，这次他又判断得十分准确。
当“扫荡”的敌人进入根据地后，遇上了倾盆大雨，道路泥泞，又怕踩上八路军埋设的地雷，因此前进的速度不快。加上敌人每路人马均在千人左右，而粮食都是由济南、兖州等地抓来的民夫挑运的。因此，罗荣桓估计敌人“扫荡”时间不会太长，便准备沉着应战。他命令胶东和渤海军区，当敌人集中兵力“扫荡”滨海之际，寻机打击守备薄弱之敌，以策应滨海区的反“扫荡”。
罗荣桓作了上述部署以后，于8月21日晚10时率领当时正在出席军区召开的军事会议的干部和军区机关，从莒县西南的洼子埠迅速南下。他知道两省的敌人建制不同，山东属华北日伪军辖区，而江苏则为华中日伪军辖区，两区之敌难以密切协同，其间肯定有机可乘，于是他按照敌进我进的“翻边战术”原则，回旋穿插于江苏、山东两省的边缘地带，在莒县南部、赣榆、郯城以北地区跳来跳去，同敌人“捉迷藏”。
一次，罗荣桓及其随从人员在沐河东岸一个村子里宿营。参谋肖剑飞正在同各个情报站通电话，了解各地敌情。突然，有人插话进来，在电话中大讲“大东亚共荣圈”的好处，还对八路军进行谩骂。肖剑飞马上意识到这是敌人。他便宣传世界反法西斯战场的大好形势，痛斥日军和伪军的罪行，做起了敌人的“思想工作”。由于当时电话的质量不高，肖剑飞的声音很大，吵醒了睡在隔壁的罗荣桓。
罗荣桓命令肖剑飞立即停止与敌人通话，然后命令机关马上转移。以往八路军的转移大都是在黄昏以后，而这次却定在上午，机关的很多参谋都感到这样做容易暴露目标。罗荣桓认为，上午转移存在危险，如果等到黄昏再转移，危险就更大。因为敌人可能已经测出与其通话的一方是领导机关，并大体了解具体方位和相互之间的距离，如不及时转移，十有八九要遭敌人合击。于是，连做好的早饭都没有吃，罗荣桓便带着机关，同特务团兵分两路，进行转移。罗荣桓带着机关钻进一片杂树林。有些参谋问他：“万一碰到敌人怎么办？”罗荣桓说：“那就进行战斗。但今天这种情况必须转移。”
走出20多公里，罗荣桓看到已摆脱了敌人，才命令部队休息，埋锅造饭。饭还没有做好，侦察员就来报告说，早晨住的那个村子已遭敌人合击。罗荣桓听后微微一笑说：“等敌人明白了追过来，我们可又转移了。”
就是这样，罗荣桓靠其对情况的准确判断和卓越的军事指挥才能，挽救了机关，并赢得了广大参谋人员和手下干部的尊敬。山东八路军逐渐摆脱了困境，从被动到主动，取得了一个又一个胜利。
毛泽东看人看得很准，罗荣桓确实没有辜负毛泽东对他的期望。
1944年8月28日，延安《解放日报》发表题为《山东捷报》的社论，对山东军民的胜利进行了评述。社论指出：这一连串的胜利，说明我军已由反“扫荡”为重点的防御作战，转为主动进攻作战，不仅能攻破敌人设防坚固的据点，而且开始攻入和收复敌占县城。
是啊！日本鬼子已经“扫荡”了我们7年，这下颠倒了位置，八路军开始“扫荡”日伪军了。
攻心为上
1944年9月27日，中共中央北方局代理书记邓小平和八路军前总参谋长滕代远致电毛泽东和彭德怀，电报说：“半年来，（我军）胜利最大且最突出者是山东，而山东距日本最近，海岸线很长，必为敌人所重视。现局势既已打开，应采取……以巩固为主的方针，埋头巩固新开辟地区工作。”
其实，这段话包括两方面的内容：一是山东在最近一段时间内取得了巨大成绩；另一方面是指山东由于地理位置重要，将会面临更为严峻的形势。对于北方局和八路军总部的表扬和关注，罗荣桓非常重视。他决定采取行动发展自己，保存最有利的反攻阵地，争取迅速打通铁路线以内的各个根据地之间的联系，使之联成一片。这次行动的方针就是：以军事攻势和政治攻势相配合，软硬兼施，攻心为上，既要歼灭敌人，又要争取伪军的起义。
在山东的各种力量中，伪军的人数众多。虽然他们的实力最强，但也是最受气的。他们经常遭到八路军的打击，也经常遭到国民党军队的打击，还要受日本人的气。这些人成份复杂，既有原来的土匪，有日军招降的国民党军队，也有日军占领山东后新组建的部队。这些部队的头，多数都是些见风使舵的人，谁的势力大，就跟谁走。在他们感到走投无路时，是很容易做通工作，举行起义的。
早在1944年7月，八路军的政治攻势就取得了成功。当时，渤海军区为了缩短与鲁中区的联系，便以12个连加上一些地方武装出击。这时，伪军建国军暂编第1师王道部驻扎在寿光县西北的丰城。此前，王道部倍受日本人的气，在渤海八路军的强大政治攻势下，准备弃暗投明。罗荣桓得知这一情况后，就派山东军区参议室主任牟宜之去做王道的工作。牟宜之，日照人，是王道的同乡和在日本留学时的同学。他原是沈鸿烈所委任的乐陵县县长，当萧华1938年抵达冀鲁边时，他将政权和武装全部交出，接受八路军的领导。他曾去过重庆，在周恩来的领导下做过统战工作，还到过延安谒见过毛泽东，后又回到山东。牟宜之到达王道的驻地后，便与王促膝长谈，对王讲形势，讲共产党的政策，讲消灭刘桂棠和讨伐吴化文的战斗……经过半年的工作，王道决心脱离敌伪，当渤海军区部队出击时，他率领1600余人宣布起义，以后该部编为山东军区独立第1旅，王道任旅长。
罗荣桓决定对伪军采取强大