次日，李淵在晉陽設起義堂，衆人齊聚一堂，凡是李淵的麾下衆位將領，以及幾位公子全部都聚在一起。衆人聚攏在一起，紛紛注視着站起身來的李淵。此刻，李淵換下了常服，穿起了一身戎裝，整個人的精氣神瞬息萬變，之前的李淵溫文爾雅，現在的他更像是威風凜凜地將軍，滿腔熱血，目光如炬地掃視衆人，莊重且肅穆的神情俯瞰衆人。
衆人仰望着戎裝的李淵，目不轉睛地注視着氣宇軒昂地他，衆人的心中閃現出一絲驚訝，他們從未真正的看見氣度不凡的李淵，唯有之前跟隨在李淵身後的一部分將領一臉驕傲地挺起胸膛，昂首闊步地凝望着，他們的眼中只有李淵高大挺拔的身姿。在他們的眼裡，李淵向突厥俯首稱臣、對李密搖尾乞憐，顛覆了衆人心目中的那個懦弱膽小的形象，他們無法相信自己眼前看到的李淵居然是之前的他，彷彿眼前的李淵纔是真正的他。
李淵英姿颯爽地擡起頭，斬釘截鐵地高聲道：“衆位將士，今日我李淵在晉陽宮設立起義堂，你們皆是此次的功臣，他日入主關中，自會一一封賞！凡是我軍之人切不可擾民，我自起兵之日起，已有十餘萬軍隊，將此分爲先鋒軍、中路軍、後援軍，統稱爲‘義士’。”
李淵被裴寂等人尊稱爲“大將軍”，接下他吩咐在晉陽建大將軍府，又任命以長子李建成爲隴西公、左領軍大都督，統率先鋒軍也就是左路大軍；以次子李世民爲敦煌公、右領軍大都督，統率後援軍。即右路軍；以三子李元吉爲姑臧公，統率中路軍。
以裴寂爲大將軍府長史，劉文靜爲司馬，殷開山爲掾，劉政會爲屬，長孫順德、王長諧、劉弘基、竇琮爲左右統軍、副統軍。至於萬夫不當之勇的李玄霸、最得李淵疼愛的幼子李逍遙，他們兩人則是任何職位都沒有，無論是軍職或是官職都沒有。
衆人咋聽之下驚詫不已，他們都知道太原軍中李玄霸的戰力通天，以一人之力與萬人相抗衡，殺的楊玄感率領的叛軍膽顫心驚，任何人都無法阻擋。若不是白髮飄飄的李逍遙及時制止，他們都可能相信李玄霸將會以一己之力對抗整個十餘萬大軍，而且他們還相信李玄霸能夠安然無恙地活下去。
李玄霸是一個異數，有他在的太原軍更是如虎添翼，任何人見到他雙錘舉天都會嚇得屁滾尿流，不戰而勝。同樣，他也是一柄雙刃，失去控制的李玄霸殺得興起，敵軍紛紛撤退之時，無法阻擋住他前進的步伐，他就會陷入瘋狂，嗜血如命，殺人跟殺雞似的，在他手中彷彿不再是人，而是牲畜，一錘砸去，無人能敵，到時候遭殃的可能是自己的軍隊。
嗜血的李玄霸猶如殺神一般，猶如掙脫繮繩的烈馬，掙脫牢籠的猛獸，瘋狂的殺戮，鮮血纔是他唯一的追求。李淵等人都知道，瘋狂的李玄霸唯有兩人能夠阻止，一位是竇氏，李玄霸的生身之母；另外一位是五公子李逍遙，滿頭銀絲隨風而搖，俊朗不凡的少年英雄。
李淵的幼子李逍遙，衆人皆是在李逍遙加冠之日，由李淵正式將李逍遙的身份公之於衆。因此，衆人才知道白髮少年李逍遙是李淵的五公子，在他們看來，李逍遙更加顯得神秘無比，一些江湖上的傳聞上，白髮李逍遙被神化了，所有人都無法探測出他的深淺，只知道李逍遙在何時何地都是一臉的笑意，唯有李淵紆尊降貴，拋棄自己臉面時才透露出自己的無聲的憤怒，衆人才知道李家五子中最難猜測的便是最小的公子李逍遙。
至於李逍遙、李玄霸兩人沒有任何的職位，也是李逍遙向李淵提出來的，目的就是防範於未然。如果太原軍全軍出發進攻長安城，太原城將沒有任何兵力防守，到時候要是敵人派人行刺於竇氏，偷襲晉陽城，後果就不堪設想了。
於是，李逍遙主動建議將他們兩人留下來，並且留下數千人部隊鎮守晉陽城。李淵想了一宿，還是同意了李逍遙的提議，將他們兩兄弟留在太原城，由於李靖是李逍遙的麾下，並且他的軍事才能卓越。李淵直接任命爲李靖爲三軍的副統帥，行軍部署全部由他一人掌管，由副將直接變爲副統帥，職位扶搖直上。
李靖成爲三軍的副統帥，實際上是李逍遙強烈推薦的，李淵權衡利弊後，終於同意提拔李靖，破格晉升爲一人之下萬人之上，掌握着十餘萬人的軍隊。李靖得知自己居然成爲三軍副統帥，心裡一陣興奮，他知道自己的夢想終於實現了，他可以一展所學，將自己所學的一切盡情地發揮出來，到時候一旦攻破長安城，他就可以名揚天下。
當初，李靖跟隨在李逍遙的身邊，不僅僅是因爲李逍遙是他的師弟，也是從他的身上看到了自己的未來。李靖乃是出生名門，自小的夢想就是成爲一軍之帥，手握重兵，馳騁沙場，快意恩仇的感覺，他在李逍遙的身上看到了這種可能，於是纔會跟隨李逍遙身邊，鞍前馬後。
現在，李靖的夢想終於實現了，他知道這一切都要感激李淵父子，李逍遙給了他機會，而李淵卻給了他平臺，讓他將自己的才華全部施展出來。並且，當初李淵低聲下氣的求別人將自己安放在太原軍中，李靖不斷地取得戰績，戰功赫赫，即使李淵將他任命爲副統帥，行軍佈陣由他掌控，衆人無人敢反駁，實在是李靖的軍事才能以及個人魅力深深的震撼了太原軍的士兵。
李逍遙、李玄霸率領數千餘人留守在太原城，除去了李淵的後顧之憂，並且後續軍需物資的供給由他們看守，任何人都入侵不了。李淵率領大軍浩浩蕩蕩的南下，進攻長安城，李逍遙從組織中抽調一些武藝高強之人守備着‘逍遙居’，而竇氏也接了過來，就是防止他人行刺，以此要挾李淵。
李淵與長子建成、次子世民揮師南下，兵至賈胡堡，距離霍邑五十餘里，代王楊侑派宋老先率領精兵兩萬駐防霍邑，抵禦李淵的步伐。李淵在太原起兵，並且在晉陽設立起義堂，此事早已傳到鎮守長安的代王楊侑耳朵裡，他強自鎮靜，派遣手下大將前往駐防霍邑，阻擋李淵進攻長安。
由於隋煬帝自刎於江都，死在宇文化及的手中，失去了隋煬帝，代王楊侑年紀尚幼無法獨立掌握大權，手中的精兵良將甚少，可是霍邑距離長安不遠矣，無奈之下只能派遣兩萬精兵由宋老生率領。雖然李淵打着輔助自己的名號，楊侑心知肚明李淵想趁機佔據長安城。
通往霍邑縣的官道被宋老生佔領，李淵率領軍隊從小路向東南直接繞過了他的防守，抵達霍邑縣。隋朝霍州總兵宋老生，長的是背闊腰圓，悍壯魁梧，手執一口大砍刀，每日必練刀法，面如紫茄，黑鼻孔，大耳朵，胸前飄着摻白鬍子須，年近花甲，卻不顯老。
李淵、李世民只是靜靜地等待着宋老生主動出擊，自己卻屹然不動。他們兩人都知道宋老生有勇無謀之輩，必定出戰。李淵和幾百名騎兵在霍邑城東埋伏，派李建成、李世民率領幾十騎到城下辱罵宋老生。
李淵採用激將法不停地辱罵宋老生，使得他中計，開城門率軍出戰。李世民一路上奔跑着逃命，一邊又是辱罵，宋老生見李世民不知禮數，年近花甲之年的他如何受得了別人的辱罵，於是拍馬追擊。李淵讓殷開山召集後援軍，李世民與段志玄率兵奔馳而下，來了一個回馬槍直接衝到宋老生的軍陣，出擊宋老生的背後。
李淵傳話呼喊：“已經抓住宋老生！”
頓時隋兵大亂，紛紛爭先搶後地逃往城門，但是城門已經被李淵率領大軍佔領，宋老生見狀心知自己因一時之氣，忽略了‘窮寇莫追’的道理，爲時已晚。宋老生根本就進入不了城門，回不了城只能下馬跳入壕溝，又被劉弘基阻攔，兩人交戰數十回合不敵被當場斬首，自此李淵攻下霍邑城。
李淵留下千餘人駐紮在霍邑城，沿汾水南下，佔領臨汾，攻克絳郡，於十五日進至龍門。屈突通率軍數萬屯守河東，準備阻止李淵軍入關，然而李淵對他採取圍而不攻，迅速率領軍隊朝着西南挺進。李淵軍到汾陰，招撫關中農民軍首領孫華，又命其先行渡過黃河，並派左、右統軍王長諧、劉弘基及左領軍長史陳演壽、金紫光祿大夫史大柰率步騎兵六千渡河至梁山紮營，以待大軍。
此時，屈突通的處境非常艱難，一方面隋煬帝死於江都，隋朝失去了主心骨；另外一方面自己手中的兵力有限，根本就不能持久戰，李淵正是看到這種情況，決定採用圍而不攻的計謀。屈突通的一切都在李淵的掌握之中，此時的李淵精明強幹，就連李靖都無法相信他居然能夠將屈突通的兵力以及困難全部算進去了。
李淵自信滿滿的分析道：“屈突通精兵不少，與我軍相隔僅五十餘里，但不敢來戰，足以證明他的部下已經不爲屈突通效命了。但是屈突通害怕上邊怪罪，又不敢不出戰。若他親自率軍過河進攻你們，那我就進攻河東，河東肯定守不住。若是屈突通全軍守城，那你們就拆毀河上的橋樑。這樣前面扼住他的咽喉，後面攻擊他的後背，他不逃走必定被我們擒獲。”
屈突通被李淵採取的圍而不攻的策略打的措手不及，無奈之下只能強攻，首先派出虎牙郎將桑顯和率數千名士卒乘夜襲擊王長諧等軍，起初進展順利。但是，孫華、史大柰率輕騎從側後襲擊桑顯和軍，隋軍敗回河東。
李淵見屈突通仍然強攻，決定繼續率領大軍包圍河東。但是，河東城高險峻，易守難攻，加上屈突通又善於守城，使得李淵的大軍一時之間難以攻克。李淵見此狀況，仔細地思考後決定先行渡過黃河，又留下一部分兵力繼續圍城，親自率領主力大軍於十二日渡河西進，威逼關中。
由於李氏父子進軍神速，只是花費了數個月就將長安攻陷，李淵進入長安不久，就宣佈遙尊隋煬帝爲太上皇，擁立煬帝孫代王楊侑爲帝，改元義寧，是爲隋恭帝。恭帝進封李淵爲唐王、大丞相、尚書令，以李建成爲唐王世子；李世民爲京兆尹，改封秦國公；封李元吉爲齊國公。
由於李玄霸。李逍遙兩人並未在此次作戰的行列中，他們沒有得到任何封賞，可是竇氏被隋恭帝楊侑加封爲一品夫人，唐王妃。一時之間，李氏父子成爲長安城真正的控制着，隋恭帝楊侑權力已經被李淵架空，只是李淵手中的一顆棋子，李氏將真正的邁入新的階段。