1920年的直皖戰(zhàn)爭(zhēng)，直、奉聯(lián)合打敗皖系，把持了北京政權(quán)。直系大將吳佩孚成為直魯豫巡閱副使，駐軍洛陽，與地方勢(shì)力河南督軍趙倜矛盾加劇。馮玉祥的第十六混成旅由于在擊敗皖系陜西督軍陳樹藩中作戰(zhàn)有功，擴(kuò)編為第十一師，馮升任師長(zhǎng)，不久繼任陜西督軍。1922年4月，第一次直奉戰(zhàn)爭(zhēng)爆發(fā)。趙倜見到張作霖打來大獲全勝的電報(bào)，又聽說“吳佩孚業(yè)已陣亡”，于是命令其弟趙杰和部下寶德全襲擊直系留在河南鄭州的部隊(duì)。誰知吳佩孚早已任命馮玉祥為后防總司令，并代理其直魯豫巡閱副使之職。馮玉祥發(fā)現(xiàn)鄭州空虛，立即派兵協(xié)防鄭州，自己即率衛(wèi)隊(duì)團(tuán)日行160里趕到洛陽。到5月9日，馮玉祥發(fā)起反攻，大破趙部，并追擊趙部殘兵至開封。

戰(zhàn)爭(zhēng)結(jié)束后，馮玉祥被任為河南督軍。馮玉祥治豫第一要?jiǎng)?wù)即為恢復(fù)秩序，安撫人民，首先委任鹿鐘麟為警察廳長(zhǎng)。開封城內(nèi)外治安尤其緊要，馮玉祥親率衛(wèi)隊(duì)出巡，捕獲亂兵數(shù)名，就地正法，地方始得安靖。后派李鳴鐘等為各屬鎮(zhèn)守使，以剿匪安民。

馮玉祥還頒布《督豫施政大綱》十條，從嚴(yán)查辦貪官劣紳，罰款用來興辦公益事業(yè)。他抄沒趙倜全部財(cái)產(chǎn)，盡行充公，大辦教育。他派余心清創(chuàng)辦“中州大學(xué)”（后改名為河南中山大學(xué)）及第一女子中學(xué)。馮玉祥還設(shè)立平民工廠三處，以為貧民學(xué)習(xí)工藝的場(chǎng)所。開封滿城內(nèi)原由旗人居住，現(xiàn)在則給資遣散，使他們與漢人雜處以消弭種族界限。其余禁娼、禁煙、改良市政、興修馬路、疏浚河道等善政，都是凡馮玉祥所到之處肯定一律要做的，概不詳述。

此外，馮玉祥對(duì)交通事業(yè)也花大力氣改善，原計(jì)劃全省建設(shè)長(zhǎng)途電話及長(zhǎng)途汽車公路。只可惜馮玉祥督豫僅4個(gè)多月，即行去職，其成績(jī)則電話僅得潼關(guān)、婦德、許昌三線，汽車公路則僅修周口、潼關(guān)兩路而已。其建設(shè)計(jì)劃及種種政策，沒有全部實(shí)現(xiàn)。

在財(cái)政方面，馮玉祥以薛篤弼為河南省財(cái)政廳長(zhǎng)，維持紙幣及銅元票兌現(xiàn)，并停辦苛稅雜捐、清理積弊。當(dāng)時(shí)河南駐軍甚多，軍費(fèi)浩繁，馮玉祥以節(jié)儉廉潔厲行上下，對(duì)其他各軍均按時(shí)發(fā)餉，唯馮玉祥之第十一師則餉不多發(fā)，也從未向大城市派款。

馮玉祥就任河南督軍后，馬上進(jìn)行整訓(xùn)和擴(kuò)充軍隊(duì)，改編了兩個(gè)補(bǔ)充團(tuán)和一個(gè)學(xué)兵團(tuán)，不久又將這三個(gè)團(tuán)擴(kuò)大為三個(gè)混成旅。此時(shí)，馮玉祥有了一個(gè)師又三個(gè)混成旅的實(shí)力，馮軍成為了一支舉足輕重的部隊(duì)。期間他舉辦了“高級(jí)戰(zhàn)術(shù)研究會(huì)”，由段其澍主持，凡第十一師營(yíng)副以上軍官均須輪班聽講。其次將“衛(wèi)隊(duì)團(tuán)”改為“學(xué)兵團(tuán)”，以石敬亭為團(tuán)長(zhǎng)，分三營(yíng)，挑選嚴(yán)格，相當(dāng)于初級(jí)干部之養(yǎng)成所，并將“手槍隊(duì)”中又添設(shè)“自行車隊(duì)”“汽車隊(duì)”，購置卡車十二輛，均受軍事訓(xùn)練，為作戰(zhàn)運(yùn)輸之用。

自馮玉祥任河南督軍后，勵(lì)精圖治，省政一新。時(shí)隔不久，“模范軍隊(duì)”“平民督軍”等盛譽(yù)已蜚聲全國(guó)，聲望凌駕于吳佩孚之上。加上馮玉祥屯兵開封，與洛陽的吳佩孚在一條鐵路線上，遂成為吳佩孚的心頭大病。馮就職伊始，吳即索款80萬元，以后每月令繳20萬元，馮玉祥回復(fù)說“沒有這個(gè)本事”，還槍斃了已經(jīng)投降吳佩孚的趙倜部下寶德全。馮吳的關(guān)系日益惡化，吳佩孚即操縱北洋政府，調(diào)馮玉祥到北京任陸軍檢閱使，把馮玉祥逐出了河南。