趙匡胤雖然沒有完成統一北方，消滅北漢的目標，但是他沒有就此氣餒，畢竟，這次是按着北漢摩擦，又遷走了不少北漢子民，也算有所收穫。
他回到皇宮後，思來想去，發現這次出征過程中，軍隊的將領與士兵之間，還殘存後周時候的陋習，許多上下級軍官稱兄道弟，拉幫結夥。他認爲杯酒釋兵權之後，雖然把禁軍將領和大將軍都更換了一些人，但只是一時之策，表面上解除了眼前危，但治標不治本。想要長治久安，必須從制度建設人手。
於是，趙匡胤就考慮構建起一套完備兵制，打算從體制、機制上杜絕武將專權的可能，這纔是抽薪止沸的長久之計。
用兵制度，表面上不過一紙文書，看似死板教條，但其實一項好的制度，都有貫穿其中的思想理念，都有它的核心。
而趙匡胤主導創制的大宋軍制，它的核心就是“分權”與“維制”。
趙普曾跟趙匡胤提過:“天下有兵、政二權，兵權宜分不宜專，政權宜專不宜分。”原因是兵權如果集中在一人、一機構、一藩鎮、一軍隊，那麼起兵作亂，幾乎是一種必然。
趙匡胤聽完，覺得有道理，所以，開始大刀闊斧地劈向唐末五代以來武將擅權的亂局。如果說，天下兵權是一塊大餅，它被大卸八塊，被反覆細緻地切割，然後重新歸置。
趙匡胤改兵制、分大餅，核心一個字，就是“拆”，把禁軍“二司”拆成了“三衙”
禁軍分爲侍衛與殿前二司，侍衛司長久以來權柄甚重，二司力量對比失衡了。當初柴榮改革禁軍，有意識地削弱侍衛司，扶持殿前司，趙匡胤由此執掌殿前軍，登基之前始終在殿前司任職。
當趙匡胤黃袍加身，完成從殿前都點檢到大宋天子的華麗轉身，所處的位置不同，看問題的視角也隨之改變。他極爲清醒地從殿前司主帥的角色中脫身出來，站在更宏觀更全局的視角看待禁軍二司力量配比問題。
不需要再強化殿前司勢力，尤其是極端敏感的“殿前都點檢”這一職位已經不再設置，副都點檢也不再任命將領擔任。
傳衛司還需進一步削弱，於是被一拆爲二。根據侍衛司內部原有的馬軍、步軍之分，侍衛司被拆分成傳衛馬軍司、侍衛步軍司兩個部門，前司鼎足三立。
原本侍衛親軍馬步軍都指揮使一職，統領馬馬、步軍，是當之無愧的禁軍一把手，如今隨着侍衛司的瓦解，這一職位自然不復存在，從此，禁軍再無總的統將帥。
這正是與機構設置同時並進，趙匡胤逐漸拿禁軍高職開刀，什麼殿前都點檢、殿前副都點檢、侍衛親軍都指揮使、侍衛親軍副都指揮、侍衛親軍都虞候，這五個最高級別的軍職，趙匡胤有意讓它長期空缺，不授予任何人。後來，他乾脆把五大軍職全被撤銷了。
經過這一番調整，宋朝的禁軍機構從“二司”逐漸過渡到“三衙”制，形成殿前司、侍衛馬軍司、侍衛步軍司“三衙”鼎立的格局，長官分別爲殿前都指揮使(殿帥)、侍衛馬軍都指揮使(馬帥)、侍衛步軍都指揮使(步帥)，從此“三帥”各管各的，互不統屬，誰也管不了整個禁軍，都聽命於皇帝一人。
就這樣，趙匡胤一步步地將原本那些位高權重的禁軍職位或撤銷、或虛置、或削權，朝野內外再也沒有權勢彪炳，能夠威脅到皇權的驕悍武將。
這一切改革的核心目的，都是抑制單個機構、職位、將領的權柄。而禁軍“衙”中沒有老大，沒有話事人，沒有任何一個武將能夠獨掌大權統轄整個禁軍，因爲大權牢牢掌握在皇帝一人手中。
“朕在皇城，足不出宮，就能統攝禁衛軍、親衛軍了，免得這些高級將領，威脅皇權，對朕不利。”
趙匡胤坐在御書房內感慨，他很滿意這個改制，接下來，又對皇城外的各地駐軍兵權下手，開始拆兵權，就是把握兵之權、調兵之權、統兵之權相分離。
這是宋朝兵制改革的重頭戲，把兵權的再分割，趙匡胤下令一刀切下，兵權這個籠統複雜的大概念，被細分爲握兵權、調兵權與統兵權。
所謂握兵權，也稱掌兵權，掌握在禁軍“三衙”手中。
三衙負責軍隊的日常訓練及管理，包括禁衛成守的統籌安排、全軍將士的升遷賞罰等，只要不打仗，禁軍士兵平時都歸屬於“三衙”，此“三衙”被視爲擁有“握兵之重”。
但戰事一起，情況馬上就不一樣了，因爲“三衙”無法在戰時來調遣軍隊，沒調兵權。
這調兵權也稱發兵權，掌握在樞密院手中的權力。樞密院是朝廷內閣中的最高軍事機構，總理兵政，掌管全國兵籍、武有涉授、軍隊調發以及兵符領降。一旦戰事爆發，由樞密院來調動全國軍，相當於戰時中央指揮部。
樞密院臨戰可以調兵造將，但兵卻不在它手上，平時樞密院也不參與軍隊日常管理。
將掌兵權和發兵權相分離，樞密院與禁軍“三衙”互相牽制，兩大軍事機構從職權上形成微妙的衝突和互補。這樣充滿智慧與遠見的分權制度，正是北宋成功避免武將兵變的關鍵原因。
改革到這還不算完，一旦發生戰爭，樞密院的文官，和三衙的將領，趙匡胤都不會啓用，而是臨時任命別的武將作爲主帥出征，稱爲“率臣”，作爲主帥統率大軍征戰。
等戰事一結束，帥與兵一拍兩散，士兵們迴歸“三衙”的統轄管理，“率臣”也迴歸他此前的本職，與臨時帶領的這支軍隊分開，從此不再有任何關係。
在軍隊系統內部，兵權雖然被切分得如此細碎，但實質上，一切大權最終都收束歸集於皇帝一人手中。
趙普進言道：“官家，這些佈局雖然可以改變握兵權和統兵權，但各地駐軍將領，還是有擁兵自重的危險，這是唐代中後期，藩鎮割據主要原因，抗衡朝廷！”
“無妨，朕有更戍法！”趙匡胤自信一笑。
他規定，抽取禁軍前往全國各地屯駐外戍，還有一些地方駐軍，要求每隔三年更換一次駐地，兵卒輪流分遣，頻繁調動，奔波往來於漫漫路途之中，謂之“更戍法”。
因爲將軍手下的士兵時常輪換，纔剛剛混熟了，又馬上改替另一撥人，將領很難專制其兵，形成自己的派系勢力。
從此，宋朝的軍隊形成“兵無常帥，帥無常師;兵不知將，將不知兵”的局面，“更成法”巧妙地從制度上拆散了將軍與士兵之間的親密關係。
“朕如此一來，就不擔心各地將領，擁兵自重，抗衡朝廷了。”
趙匡胤對宰相趙普表達了自豪之感，這番改革，能夠改變唐代各地藩鎮的問題。
與“更成法”異曲同工，趙匡胤還在軍中頒佈“禁止結社”的命令。
五代時期，武將義結金蘭、結黨立社，幾乎蔚然成風，在亂世之中抱團取酸團隊作戰是趨利避害的自然選擇。郭威有“十軍主”，趙匡胤有“義社兄弟”，想當初，廣交朋友的他可最熱衷於結社。
但此一時彼一時，趙匡胤身份變化了，自然不想看到這個局面，於是下令殿前、侍衛諸軍將帥，不得擅自於軍中執造曉勇善成者組建爲牙兵、牙隊，不得結黨營私，不得培植私人力，一切“義社”團伙全部解散。
趙匡胤做完這些，終於鬆一口氣，不擔心大宋境內軍隊不穩，會產生兵變了，這樣宋人兵權就不會消耗，集中在皇帝的手中，完全聽朝廷調度，便於日後能隨意調動指揮，不會受到各地將軍的肘制了。