吴佩孚所部撤防是从一九二零年五月二十日开始。
他事前曾电请张敬尧派员到衡州协商接防问题。张敬尧派湖南暂编第二师师长吴新田为“主持湘南防务司令官”，于二十一日到衡州，与吴佩孚及湘军代表签订条约，南北两军维持原有停战界线，湘直两军停战协定继续有效。
直到吴佩孚所部撤防的前夕，北京政府才有电报批准直军撤防。这样也就使吴部的北归，有了合法性。
吴佩孚所部开拔时作环状队形的布置，主力居中，湘江两岸各设掩护队，前方设有侦察兵，后面设有殿卒。大军扬帆而下，全军齐唱吴所亲撰的《登蓬莱阁歌》。
途中吴秀才诗兴大发，写下《回防途次》，诗曰：
行行重行行，曰归复曰归。
江南草木长，众鸟亦飞飞。
忆昔赴戎机，长途雨雪霏。
整旅来湘浦，万里振天威。
孰意辇毂下，妖孽乱京畿。
虺蛇思吞象，投鞭欲断淝。
我今定归期，天下一戎衣。
舳舻连千里，旌旗蔽四围。
春满潇湘路，杨柳正依依。
和风送归鸟，绿草映晴晖。
少年惜春华，胜日斗芳菲。
来路作归程，风景仍依稀。
周公徂东山，忧搀亦畏讥。
军中名将老，江上昔人非。
建树须及时，动静宜见几。
何日摧狂虏，发扬见国威。
不问个人瘦，惟期天下肥。
丈夫贵兼济，功德乃巍巍。
江上送归舟，风急不停挥。
得遂击楫志，青史有光辉。
春日雁北向，万里动芳徽。
鸿渐磐石愿，衍衍不啼饥。
止戈以为武，烽烟思郊圻。
同仇复同仇，归愿莫相违。
吴佩孚所部于二十七日由水路经过长沙。
张敬尧怕吴部舍舟登陆“战长沙”，在湘江右翼配置了强大的兵力，但只作防御准备。
而吴部根本无意上岸，虽亦作紧急戒备，不过是怕张军袭击而已。
双方都很克制，均未挑衅生事，吴部随后扬帆而去。
吴佩孚所部于五月二十九日过岳州，三十一日在汉口集中。
吴部北行，一举一动都引来各方关注，其滞留汉口，久而不发，因之而谣言四起。
北京政府以吴佩孚所部按兵武汉。引起各方猜忌为名，促其尽快离开。并电曹锟，请他下令督促吴部速行。
吴佩孚本打算在武汉稍事休整，但迫于情势不得不迅速开拔。派其参谋长赴汴与赵倜密商后，商定吴部暂驻信阳、许州、郑州等处。
随后于六月七日晚由武汉起程。八日抵郑。
所部第一旅驻许昌，第二旅驻驻马店，第三旅分驻顺德、磁州，骑兵团驻黄河桥，步兵八团驻新乡县。
沿途旌旗满目，帐幕相望，军容整齐而士气高涨。
吴佩孚所部北归，直接的结果是直皖两系短兵相接，段祺瑞早就已经认识到了问题的严重，他不能不有所应对。
早在一九二零年四月下旬，驻防陕西的奉军许兰洲部忽然移动到华阴、潼关、观音堂一带。这个行动使段祺瑞怀疑是奉军有企图移向河南，策应直军北进。
五月十七日，段祺瑞曾在团河召集秘密会议，作了一系列的军事布置。
一面召回徐树铮，并将全部西北边防军调回北京附近，一面决定自己出马担任川陕剿匪总司令，率领边防军一三两师向陕西出发，讨伐陕南民军和川滇靖国军。
为了提防靳云鹏在北京捣鬼，准备派其为副司令或参谋长，令其随军出发。这其实是在“声东击西”，真正目的并不是向陕西出兵，而是准备进军郑州。其计划是首先驱逐河南督军赵倜，然后派军防守京汉路南段，阻断直军的归路。如果直军打算强行通过，就地予以迎击。
段祺瑞认为在河南与直军作战，不但北京根据地不致受到战火的威胁，而且山东、安徽两省的皖系军队可以侧击直军。
但是，当段带兵出征陕西的消息传到关外，张作霖立刻借口边防军出动，北京防务空虚，要求准许奉军入关“拱卫京师”。如果北京真的由奉军拱卫，北京就变成张作霖的天下了，这便使得段祺瑞，被迫放弃这个想争取主动的作战计划。
六月十三日，一直出语惊人的吴佩孚在郑州发出一个爆炸性的电报，分致反皖的八省联盟各督军，内容是：反对安福系包办上海和会，建议召开国民大会解决一切问题。
这个电报之所以具有爆炸性，是因为这个建议不但遭致皖系的强烈反对，八省联盟内部也是一片反对之声。联盟的领军人物之一的张作霖为此而大发脾气，就连吴的上司曹锟也