魏大統元年春正月己酉，進太祖督中外諸軍事、錄尚書事、大行臺，改封安定郡王。太祖固讓王及錄尚書事，魏帝許之，乃改封安定郡公。東魏遣其將司馬子如寇潼關，太祖軍霸上，子如乃回軍自蒲津寇華州，刺史王羆擊走之。 三月，太祖以戎役屢興，民吏勞弊，乃命所司斟酌今古，參考變通，可以益國利民便時適治者，為二十四條新制，奏魏帝行之。
二年春三月，東魏襲陷夏州，留其將張瓊、許和守之。夏五月，秦州刺史、建中王万俟普撥率所部叛入東魏。太祖勒輕騎追之，至河北千餘里，不及而還。
三年春正月，東魏寇龍門，屯軍蒲坂，造三道浮橋度河。又遣其將竇泰趣潼關，高敖曹圍洛州。太祖出軍廣陽，召諸將曰：「賊今掎吾三面，又造橋於河，示欲必渡，是欲綴吾軍，使竇泰得西入耳。乆與相持，其計得行，非良策也。且歡起兵以來，泰每為先驅，其下多銳卒，屢勝而驕。今出其不意，襲之必克。克泰則歡不戰而自走矣。」諸將咸曰：「賊在近，捨而遠襲，事若蹉跌，悔無及也。」太祖曰：「歡前再襲潼關，吾軍不過霸上。今者大來，兵未出郊。賊顧謂吾但自守耳，旡遠鬪意。又狃於得志，有輕我之心。乘此擊之，何徃不克。賊雖造橋，不能徑渡。此五日中，吾取竇泰必矣。公等勿疑。」庚戌，太祖率騎六千還長安，聲言欲保隴右。辛亥，謁帝而潛出軍。癸丑旦，至小鬪。竇泰卒聞軍至，惶懼，依山為陣，未及成列，太祖縱兵擊破之，盡俘其衆萬餘人。斬泰，傳首長安。高敖曹適陷洛州，執刺史泉企，聞泰之歿，焚輜重弃城走。齊神武亦撤橋而退。企子元禮尋復洛州，斬東魏刺史杜密。太祖還軍長安。六月，遣儀同于謹取楊氏壁。太祖請罷行臺，帝復申前命，太祖受錄尚書事，餘固讓，乃止。秋七月，徵兵會咸陽。八月丁丑，太祖率李弼、獨孤信、梁禦、趙貴、于謹、若干惠、怡峯、劉亮、王惪、侯莫陳崇、李遠、達奚武等十二將東伐。至潼關，太祖乃誓於師曰：「與爾有衆，奉天威，誅暴亂。惟爾士，整爾甲兵，戒爾戎事，无貪財以輕敵，无暴民以作威。用命則有賞，不用命則有戮。爾衆士其勉之。」遣于謹居軍前，徇地至槃豆。東魏將高叔禮守柵不下，謹急攻之，乃降。獲其戍卒一千，送叔禮于長安。戊子，至弘農。東魏將高干、陝州刺史李徽伯拒守。于時連雨，太祖乃命諸軍冒雨攻之。庚寅，城潰，斬徽伯，虜其戰士八千。高干走度河，令賀拔勝追擒之，並送長安。於是宜陽、邵郡皆來歸附。先是河南豪傑多聚兵應東魏，至是各率所部來降。齊神武懼，率衆十萬出壺口，趨蒲坂，將自后土濟。又遣其將高敖曹以三萬人出河南。是歲，關中飢。太祖既平弘農，因館穀五十餘日。時戰士不滿萬人，聞齊神武將度，乃引軍入關。齊神武遂度河，逼華州。刺史王羆嚴守。知不可攻，乃涉洛，軍於許原西。太祖據渭南，徵諸州兵皆未會。乃召諸將謂之曰：「高歡越山度河，遠來至此，天亡之時也。吾欲擊之何如？」諸將咸以衆寡不敵，請待歡更西，以觀其勢。太祖曰：「歡若得至咸陽，人情轉騷擾。今及其新至，便可擊之。」即造浮橋於渭，令軍人齎三日粮，輕騎度渭，輜重自渭南夾渭而西。冬十月壬辰，至沙苑，距齊神武軍六十餘里。齊神武聞太祖至，引軍來會。癸巳旦，候騎告齊神武軍且至。太祖召諸將謀之。李弼曰：「彼衆我寡，不可平地置陣。此東十里有渭曲，可先據以待之。」遂進軍至渭曲，背水東西為陣。李弼為右拒，趙貴為左拒。命將士皆偃戈於葭蘆中，聞鼓聲而起。申時，齊神武至，望太祖軍少，競馳而進，不為行列，總萃於左軍。兵將交，太祖鳴鼓，士皆奮起。于謹等六軍與之合戰，李弼等率鐵騎橫擊之，絕其軍為二隊，大破之，斬六千餘級，臨陣降者二萬餘人。齊神武夜遁，追至河上，復大克獲。前後虜其卒七萬。留其甲士二萬，餘悉縱歸。收其輜重兵甲，獻俘長安。還軍渭南，於是所徵諸州兵始至。乃於戰所，准當時兵士，人種樹一株，以旌武功。進太祖柱國大將軍，增邑并前五千戶。李弼等十二將亦進爵增邑。并其下將士，賞各有差。遣左僕射、馮翊王元季海為行臺，與開府獨孤信率步騎二萬向洛陽；洛州刺史李顯趨荊州；賀拔勝、李弼渡河圍蒲坂。牙門將高子信開門納勝軍，東魏將薛崇禮弃城走，勝等追獲之。太祖進軍蒲坂，略定汾、絳。於是許和殺張瓊以夏州降。初，太祖自弘農入關後，東魏將高敖曹圍弘農，聞其軍敗，退守洛陽。獨孤信至新安，敖曹復走度河，信遂入洛陽。東魏潁川長史賀若統與密縣人張儉執刺史田迅舉城降。滎陽鄭榮業、鄭偉等攻梁州，擒其刺史鹿永吉；清河人崔彥穆、檀琛攻滎陽，擒其郡守蘇定：皆來附。自梁、陳已西，將吏降者相屬。於是東魏將堯雄、趙育、是云寶出潁川，欲復降地。太祖遣儀同宇文貴、梁遷等逆擊，大破之。趙育來降。東魏復遣將任祥率河南兵與雄合，儀同怡峯與貴、遷等復擊破之。又遣都督韋孝寬取豫州。是云寶殺其東揚州刺史郍椿，以州來附。
四年春三月，太祖率諸將入朝。禮畢，還華州。七月，東魏遣其將侯景、庫狄干、高敖曹、韓軌、可朱渾元、莫多婁貸文等圍獨孤信於洛陽。齊神武繼其後。先是，魏帝將幸洛陽拜園陵，會信被圍，詔太祖率軍救信，魏帝亦東。八月庚寅，太祖至穀城，莫多婁貸文、可朱渾元來逆，臨陣斬貸文，元單騎遁免，悉虜其衆送弘農。遂進軍瀍東。是夕，魏帝幸太祖營，於是景等夜解圍去。及旦，太祖率輕騎追之，至于河上。景等北據河橋，南屬邙山為陣，與諸軍合戰。太祖馬中流矢，驚逸，遂失所之，因此軍中擾亂。都督李穆下馬授太祖，軍以復振。於是大捷，斬高敖曹及其儀同李猛、西兖州刺史宋顯等，虜其甲士一萬五千，赴河死者以萬數。是日置陣既大，首尾懸遠，從旦至未，戰數十合，氛霧四塞，莫能相知。獨孤信、李遠居右，趙貴、怡峯居左，戰竝不利，又未知魏帝及太祖所在，皆弃其卒先歸。開府李虎、念賢等為後軍，遇信等退，即與俱還。由是乃班師，洛陽亦失守。大軍至弘農，守將皆已弃城西走。所虜降卒在弘農者，因相與閉門拒守。進攻拔之，誅其魁首數百人。大軍之東伐也，關中留守兵少，而前後所虜東魏士卒，皆散在民間，乃謀為亂。及李虎等至長安，計無所出，乃與公卿輔魏太子出次渭北。關中大震恐，百姓相剽刼。於是沙苑所俘軍人趙青雀、雍州民于伏德等遂反。青雀據長安子城，伏德保咸陽，與太守慕容思慶各收降卒，以拒還師。長安大城民皆相率拒青雀，每日接戰。魏帝留止閿鄉，遣太祖討之。長安父老見太祖至，悲且喜曰：「不意今日復得見公！」士女咸相賀。華州刺史導率軍襲咸陽，斬思慶，擒伏德，南度渭與太祖會攻青雀，破之。太傅梁景睿先以疾留長安，遂與青雀通謀，至是亦伏誅。關中於是乃定。魏帝還長安，太祖復屯華州。冬十一月，東魏將侯景攻陷廣州。十二月，是云寶襲洛陽，東魏將王元軌弃城走。都督趙剛襲廣州，拔之。自襄、廣以西城鎮復內屬。
五年冬，大閱於華陰。
六年春，東魏將侯景出三鵶，將侵荊州，太祖遣開府李弼、獨孤信各率騎五千出武關，景乃退還。夏，茹茹度河至夏州，太祖召諸軍屯沙苑以備之。
七年春三月，稽胡帥、夏州刺史劉平伏據上郡叛，遣開府于謹討平之。冬十一月，太祖奏行十二條制，恐百官不勉於職事，又下令申明之。
八年夏四月，大會諸軍於馬牧。冬十月，齊神武侵汾、絳，圍玉壁。太祖出軍蒲坂，將擊之。軍至皂莢，齊神武退。太祖度汾追之，遂遁去。十二月，魏帝狩於華陰，大饗將士。太祖率諸將朝於行在所。
九年春，東魏北豫州刺史高仲密舉州來附，太祖帥師迎之，令開府李遠為前軍。至洛陽，遣開府于謹攻栢谷塢，拔之。三月，齊神武至河北。太祖還軍瀍上以引之。齊神武果度河，據邙山為陣，不進者數日。太祖留輜重於瀍曲，士皆銜枚，夜登邙山。未明，擊之，齊神武單騎為賀拔勝所逐，僅而獲免。太祖率右軍若干惠等大破齊神武軍，悉虜其步卒。趙貴等五將軍居左，戰不利。齊神武軍復合，太祖又不利，夜乃引還。既入關，屯渭上。齊神武進至陝，開府達奚武等率軍禦之，乃退。太祖以邙山之戰，諸將失律，上表請自貶。魏帝報曰：「公膺期作宰，義高匡合，仗鉞專征，舉无遺筭。朕所以垂拱九載，實資元輔之力，俾九服寧謐，誠賴翊贊之功。今大寇未殄，而以諸將失律，便欲自貶，深虧體國之誠。宜抑此謙光，恤予一人。」於是廣募關隴豪右，以增軍旅。冬十月，大閱於櫟陽，還屯華州。
十年夏五月，太祖入朝。秋七月，魏帝以太祖前後所上二十四條及十二條新制，方為中興永式，乃命尚書蘇綽更損益之，總為五卷，班於天下。於是搜簡賢才，以為牧守令長，皆依新制而遣焉。數年之間，百姓便之。冬十月，大閱於白水。
十一年春三月，令曰：
古之帝王所以外建諸侯內立百官者，非欲富貴其身而尊榮之，蓋以天下至廣，非一人所能獨治，是以愽訪賢才，助己為治。若其知賢也，則以禮命之。其人聞命之日，則慘然曰：「凢受人之事，任人之勞，何捨己而從人。」又自勉曰：「天生儁士，所以利時。彼人主者，欲與我為治，安可苟辭。」於是降心而受命。及居官也，則晝不甘食，夜不甘寢，思所以上匡人主，下安百姓；不遑恤其私而憂其家，故妻子或有饑寒之弊而不顧也。於是人主賜之以俸祿，尊之以軒冕，而不以為惠也。賢臣受之，亦不以為德也。位不虛加，祿不妄賜。為人君者，誠能以此道授官，為人臣者，誠能以此情受位，則天下之大，可不言而治矣。昔堯、舜之為君，稷、契之為臣，用此道也。及後世衰微，此道遂廢，乃以官職為私恩，爵祿為榮惠。人君之命官也，親則授之，愛則任之。人臣之受位也，可以尊身而潤屋者，則迂道而求之；損身而利物者，則巧言而辭之。於是至公之道沒，而姦詐之萌生。天下不治，正為此矣。 今聖主中興，思去澆偽。諸在朝之士，當念職事之艱難，負闕之招累，夙夜兢兢，如臨深履薄。才堪者，則審己而當之；不堪者，則收短而避之。使天官不妄加，王爵不虛受，則淳素之風，庶幾可反。
冬十月大閱于白水，遂西狩岐陽。
十二年春，涼州刺史宇文仲和據州反。瓜州民張保害刺史成慶，以州應仲和。太祖遣開府獨孤信討之。東魏遣其將侯景侵襄州，太祖遣開府若干惠率輕騎擊之。至穰，景遁去。夏五月，獨孤信平涼州，擒仲和，遷其民六千餘家於長安。瓜州都督令狐延起義誅張保，瓜州平。七月，太祖大會諸軍於咸陽。九月，齊神武圍玉壁，大都督韋孝寬力戰拒守，齊神武攻圍六旬不能下，其士卒死者什二三。會齊神武有疾，燒營而退。
十三年春正月，茹茹寇高平，至于方城。是月，齊神武薨。其子澄嗣，是為文襄帝。與其河南大行臺侯景有隙，景不自安，遣使請舉河南六州來附。齊文襄遣其將韓軌、庫狄干等圍景於潁川。三月，太祖遣開府李弼率軍援之，軌等遁去。景請留收輯河南，遂徙鎮豫州。於是遣開府王思政據潁川，弼引軍還。秋七月，侯景密圖附梁。太祖知其謀，悉追還前後所配景將士。景懼，遂叛。冬，太祖奉魏帝西狩于岐陽。
十四年春，魏帝詔封太祖長子毓為寧都郡公，食邑三千戶。初，太祖以平元顥、納孝莊帝之功，封寧都縣子，至是改縣為郡，而以封毓，用彰勤王之始也。夏五月，進授太祖太師。太祖奉魏太子巡撫西境，自新平出安定，登隴，刻石紀事。下安陽，至原州，歷北長城，大狩。將東趣五原，至蒲川，聞魏帝不豫，遂還。既至，帝疾已愈，於是還華州。是歲，東魏遣其將高岳、慕容紹宗、劉豐生等，率衆十餘萬圍王思政於潁川。
十五年春，太祖遣大將軍趙貴帥軍至穰，兼督東南諸州兵以援思政。高岳起堰，引洧水以灌城，自潁川以北皆為陂澤，救兵不得至。夏六月，潁川陷。初，侯景自豫州附梁，後遂度江，圍建業。梁司州刺史柳仲禮以本朝有難，帥兵援之。梁竟陵郡守孫暠舉郡來附，太祖使大都督符貴往鎮之。及景克建業，仲禮還司州，率衆來寇，暠以郡叛。太祖大怒。冬十一月，遣開府楊忠率兵與行臺僕射長孫儉討之，攻克隨郡。忠進圍仲禮長史馬岫於安陸。是歲，盜殺齊文襄於鄴，其弟洋討賊，擒之，仍嗣其事，是為文宣帝。
十六年春正月，柳仲禮率衆來援安陸，楊忠逆擊於漴頭，大破之，擒仲禮，悉虜其衆。馬岫以城降。三月，魏帝封太祖第二子震為武邑公，邑二千戶。先是，梁雍州刺史、岳陽王𧦴與其叔父荊州刺史、湘東王繹不睦，乃稱蕃來附，遣其世子嶚為質。及楊忠擒仲禮，繹懼，復遣其子方平來朝。夏五月，齊文宣廢其主元善見而自立。秋七月，太祖率諸軍東伐，拜章武公導為大將軍，總督留守諸軍事，屯涇北以鎮關中。九月丁巳，軍出長安。時連雨，自秋及冬，諸軍馬驢多死。遂於弘農北造橋濟河，自蒲坂還。於是河南自洛陽，河北自平陽以東，遂入於齊矣。
十七年春三月，魏文帝崩，皇太子嗣位，太祖以冢宰總百揆。梁邵陵王蕭綸侵安陸，大將軍楊忠討擒之。冬十月，太祖遣大將軍王雄出子午，伐上津、魏興；大將軍達奚武出散關，伐南鄭。
魏廢帝元年春，王雄平上津、魏興，以其地置東梁州。夏四月，達奚武圍南鄭，月餘，梁州刺史、宜農侯蕭循以州降。武執循還長安。秋八月，東梁州民叛，率衆圍州城，太祖復遣王雄討之。侯景之克建業也，還奉梁武帝為主。居數旬，梁武以憤恚薨。景又立其子綱，尋而廢綱自立。歲餘，綱弟繹討景，擒之，遣其舍人魏彥來告，仍嗣位於江陵，是為元帝。
二年春，魏帝詔太祖去丞相大行臺，為都督中外諸軍事。二月，東梁州平，遷其豪帥於雍州。三月，太祖遣大將軍、魏安公尉遲逈率衆伐梁武陵王蕭紀於蜀。夏四月，太祖勒銳騎三萬西踰隴，度金城河，至姑臧。吐谷渾震懼，遣使獻其方物。五月，蕭紀潼州刺史楊乹運以州降，引逈軍向成都。秋七月，太祖自姑臧至于長安。八月，克成都，劔南平。冬十一月，尚書元烈謀作亂，事發，伏誅。
三年春正月，始作九命之典，以叙內外官爵。以第一品為九命，第九品為一命。改流外品為九秩，亦以九為上。又改置州郡及縣：改東雍為華州，北雍為宜州，南雍為蔡州，華州為同州，北華為鄜州，東秦為隴州，南秦為成州，北秦為交州，東荊為淮州，南荊為昌州，東夏為延州，南夏為長州，東梁為金州，南梁為隆州，北梁為靜州，陽都為汾州，南汾為勳州，汾州為丹州，南豳為寧州，南岐為鳳州，南洛為上州，南廣為淯州，南襄為湖州，西涼為甘州，西郢為鴻州，西益為利州，東巴為集州，北應為輔州，恒州為均州，沙州為深州，寧州為麓州，義州為巖州，新州為溫州，江州為沔州，西安為鹽州，安州為始州，并州為隨州，肆州為塘州，兾州為順州，淮州為純州，揚州為潁州，司州為憲州，南平為昇州，南郢為歸州，青州為眉州。凡改州四十六，置州一，改郡一百六，改縣二百三十。自元烈誅，魏帝有怨言。魏淮安王育、廣平王贊等垂泣諫之，帝不聽。於是太祖與公卿定議，廢帝，尊立齊王廓，是為恭帝。
魏恭帝元年夏四月，帝大饗羣臣。魏史栁虬執簡書於朝曰：「廢帝，文皇帝之嗣子。年七歲，文皇帝託於安定公曰：『是子才，由于公，不才，亦由于公，宜勉之。』公既受茲重寄，居元輔之任，又納女為皇后，遂不能訓誨有成，致令廢黜，負文皇帝付屬之意，此咎非安定公而誰？」太祖乃令太常盧辯作告諭公卿曰：「嗚呼！我羣后暨衆士，維文皇帝以襁褓之嗣託於予，訓之誨之，庶厥有成。而予罔能革變厥心，庸暨乎廢，墜我文皇帝之志。嗚呼！茲咎予其焉避。予實知之，矧爾衆人之心哉。惟予之顏，豈惟今厚，將恐來世以予為口實。」乙亥，詔封太祖子邕為輔城公，憲為安城公，邑各二千戶。茹茹乙旃達官寇廣武。五月，遣柱國趙貴追擊之，斬首數千級，収其輜重而還。秋七月，太祖西狩至於原州。梁元帝遣使請據舊圖以定疆界，又連結於齊，言辭悖慢。太祖曰：「古人有言『天之所弃，誰能興之』，其蕭繹之謂乎。」冬十月壬戌，遣柱國于謹、中山公護、大將軍楊忠、韋孝寬等步騎五萬討之。十一月癸未，師濟於漢。中山公護與楊忠率銳騎先屯其城下，據江津以備其逸。丙申，謹至江陵，列營圍守。辛亥，進攻城，其日克之。擒梁元帝，殺之，并虜其百官及士民以歸。沒為奴婢者十餘萬，其免者二百餘家。立蕭𧦴為梁主，居江陵，為魏附庸。梁將王僧辯、陳霸先於丹陽立梁元帝第九子方智為主。魏氏之初，統國三十六，大姓九十九，後多絕滅。至是，以諸將功高者為三十六國後，次功者為九十九姓後，所統軍人，亦改從其姓。
二年，梁廣州刺史王琳寇邊。冬十一月，遣大將軍豆盧寧帥師討之。
三年春正月丁丑，初行周禮，建六官。以太祖為太師、大冢宰，柱國李弼為太傅，大司徒趙貴為太保，大宗伯獨孤信為大司馬，于謹為大司寇，侯莫陳崇為大司空。初，太祖以漢魏官繁，思革前弊。大統中，乃命蘇綽、盧辯依周制改創其事，尋亦置六卿官，然為撰次未成，衆務猶歸臺閣。至是始畢，乃命行之。夏四月，太祖北巡狩。秋七月，度北河。王琳遣使來附，以琳為大將軍、長沙郡公。魏帝封太祖子直為秦郡公，招為正平公，邑各一千戶。九月，太祖有疾，還至雲陽，命中山公護受遺輔嗣子。冬十月乙亥，崩于雲陽宮，還長安發喪。時年五十二。甲申，葬于成陵，謚曰文公。孝閔帝受禪，追尊為文王，廟曰太祖。武成元年，追尊為文皇帝。
太祖知人善任使，從諫如流，崇尚儒術，明達政事，恩信被物，能駕馭英豪，一見之者，咸思用命。沙苑所獲囚俘，釋而用之，河橋之役，率以擊戰，皆得其死力。諸將出征，授以方略，無不制勝。性好朴素，不尚虛飾，恒以反風俗，復古始為心。
史臣曰：水曆將終，羣凶放命，或威權震主，或釁逆滔天。咸謂大寶可以力征，神物可以求得，莫不闚𨵦九鼎，睥睨兩宮，而誅夷繼及，亡不旋踵。是知巨君篡盜，終成建武之資；仲潁凶殘，實啟當塗之業。天命有底，庸可滔乎。太祖田無一成，衆無一旅，驅馳戎馬之際，躡足行伍之間。屬與能之時，應啟聖之運，鳩集義勇，糺合同盟，一舉而殄仇讎，再駕而匡帝室。於是內詢帷幄，外仗材雄，推至誠以待人，弘大順以訓物。高氏籍甲兵之衆，恃戎馬之彊，屢入近畿，志圖吞噬。及英謀電發，神旆風馳，弘農建城濮之勳，沙苑有昆陽之捷。取威定霸，以弱為彊。紹元宗之衰緒，創隆周之景命。南清江漢，西舉巴蜀，北控沙漠，東據伊瀍。乃擯落魏晉，憲章古昔，脩六官之廢典，成一代之鴻規。德刑竝用，勳賢兼叙，遠安邇悅，俗阜民和。億兆之望有歸，揖讓之期允集。功業若此，人臣以終。盛矣哉！非夫雄略冠時，英姿不世，天與神授，緯武經文者，孰能與於此乎。昔者，漢獻蒙塵，曹公成夾輔之業；晉安播蕩，宋武建匡合之勳。校德論功，綽有餘裕。至於渚宮制勝，闔城孥戮；茹茹歸命，盡種誅夷：雖事出於權道，而用乖於德教。周祚之不永，或此之由乎。