經此一戰,李淵得到了眾人的擁護和愛戴,很快就建立了軍事、政治機構,也為改朝換代做好了初步準備。李淵心係天下,當然不會滿足於隻得到太原。大業十三年(617年),李淵任命李元吉留守太原,自己則帶著李建成和李世民,率領大軍從太原出發,一路南下。自此,李淵父子踏上了建立大唐的征程。
在中原地帶,李密率領的瓦崗軍實力最強。李密原本想把各路起義軍都收入麾下,擁護他為首領,共同反隋。毫無疑問,李淵作為起義軍的後起之輩,也收到了李密的消息,但是李淵始終沒有給李密任何回信。直至大兵出發前,為了避免腹背受敵,被瓦崗軍襲擊,李淵才假意給李密回信,表示願意擁護李密為王。其實,他是為了讓李密繼續反隋,而不要對他們開戰。果不其然,李密接到了李淵的來信後喜出望外,馬上回信給李淵說瓦崗軍絕不進犯太原。由此一來,李淵就解除了後顧之憂,不再擔心太原的安危了。
隋煬帝得知李淵起兵南下的消息後,心急如焚,派出重兵阻止李淵南下。這個時候,因為連日降雨,道路泥濘,李淵隻好命令全體將士原地駐紮,等到天氣轉晴之後再繼續南下。然而,他們的糧草馬上就要消耗光了,天氣卻依然陰雨連綿,李淵急得如同熱鍋上的螞蟻一樣團團亂轉。這個時候,晉陽告急,原來劉武周和突厥勾結起來攻打晉陽。這樣一來,李淵後院起火,情勢變得更加危急。裴寂建議李淵火速趕回晉陽平定後方,擇機再揮師南下,然而,李世民卻堅決反對退兵。他向李淵分析了當下的情勢,認為一旦退兵就會導致軍心渙散,此外他還建議李淵不要忌憚劉武周和突厥的兵力,因為劉武周和突厥是麵和心不和,更不要忌憚李密,因為李密根本無暇攻打他們。在李世民的再三勸諫下,李淵最終改變了退兵的主意,繼續揮師南下。
從根本上來說,裴寂等人主張回到晉陽,因為晉陽是義軍的根據地,也是義軍的大後方。所以裴寂等人主張回到晉陽,並非膽小怯懦,而是考慮到後方穩固。相比之下,李世民主張繼續揮師南下,也並非急於冒進,而是因為他分析了劉武周和突厥的合作情況,也分析了李密的戰況,認為他們都不足為懼。最終,李淵醒悟過來,采納了李世民的建議,撤回了退兵,繼續揮師南下,所以才能一鼓作氣,到達霍邑,與鎮守霍邑的宋老生一決高下。李淵深知隋軍訓練有素,宋老生還有背城布陣的優勢,因此沒有貿然進攻,而是設下計謀,佯裝後退,引誘宋老生追擊。宋老生呢,以為李淵的隊伍和其他義軍一樣不堪一擊,所以十分輕敵,中了李淵的圈套,沒有固守城池,反而對李淵的“退兵”窮追不舍。最終,李建成和李世民對宋老生兩麵夾擊,李淵率領軍隊對宋老生迎頭趕上。最終,在兩個兒子的鼎力相助下,尤其是在李世民的“妙計”下,李淵打敗了宋老生。
李世民的“妙計”是什麼呢?原來,隋軍訓練有素,李世民在對隋軍應接不暇之際,突然心生一計,大聲呼喊:“我已經活捉宋老生,隋軍中主動投降者可免死罪。”李世民的呼聲一出,擾亂了隋軍的陣仗。隋軍軍心大亂,潰不成軍,當即朝著城裏撤退,卻在關閉城門時,把宋老生以及宋老生所率領的軍隊留在了城門外,讓宋老生成為了孤軍。李淵父子三人齊心協力,把宋老生圍困起來,使其無路可退,也無路可進,陷入絕境。正當宋老生感到絕望準備自殺之際,義軍的劉弘基恰巧趕到,腰斬了宋老生。這使得宋老生的部下們全都軍心渙散,最終全軍覆滅。
這個時候,盡管天色已經晚了,但是李淵一鼓作氣,號令將士們馬上攻城。城裏的隋軍將士們雖然還在抵抗,但是氣勢大不如前。很快,李淵就率領隊伍攻入城池,隋軍的將士們全都下跪投降。見此情形,李淵高興極了。他命令全體將士都必須嚴守軍紀,決不允許擾亂百姓的生活,所以城中的百姓生活一如往常,沒有受到任何影響。
這是李淵起兵之後的第二次大戰,史稱霍邑之戰。原本,李淵以為這一戰要耗費很長時間,卻沒想到在李世民的英明決策之下,這場大戰速戰速決,戰果顯赫。從此之後,李淵特別賞識李世民的軍事才華,還把掌管軍隊的大權交給了李世民。
霍邑大戰讓李淵父子名聲大噪,很多人都帶領隊伍投靠他們,他們的隊伍迅速壯大起來。接下來,李淵父子計劃攻下河東城。河東城相當於關中的大門,隻要攻入河東城,就相當於打開了關中的門戶。隋煬帝當然知道李淵父子的計劃,他當即命令隋朝的名將屈突通堅守河東城,決不能讓李淵父子的計劃得逞。屈突通是隋朝大將,深諳兵法,且有豐富的實戰經驗。接到這個艱巨的任務之後,他一到河東城,就開始修築防禦工事,為抵禦李淵父子率領的起義軍做準備。可想而知,河東城城防堅固,又有屈突通這樣的名將捍衛,李淵想要攻下河東城,簡直難於登天。李淵強攻不下河東城,決定采取迂回戰術,先攻打隋朝的大型糧倉之一——永豐倉所在的邑縣。這次,李淵兵分兩路,留下一路兵馬繼續圍困河東,又率領主力軍西渡黃河,進入關中,在長春宮駐紮下來。屈突通盡管是大將,卻分身乏術,顧此失彼,最終隻能退守河東城。這時,李淵父子已經占領了關中大部分地區,隊伍也空前壯大起來。其中,李世民的隊伍人數眾多,多達十三萬人。正是在關中征戰期間,李世民結識了房玄齡,後來,李世民與房玄齡之間成就了君臣佳話。
李淵父子勢如破竹,很快就攻下了長安城。在裴寂的建議下,李淵並沒有自立為王,而是擁護代王楊侑登基,史稱隋恭帝。這時,隋煬帝遠在江都,李淵卻依然尊稱其為太上皇。至此,李淵自封為唐王,獨攬國家大權,隋恭帝隻是一個傀儡而已。李淵立長子李建成為世子,立次子李世民為京兆尹,封秦公。李淵隻用了一年多時間,就在關中站穩了腳跟。從此之後,他大張旗鼓地招賢納士,獎勵軍功,而且對隋朝舊時的老臣封官加爵,籠絡人心。正是因為采取了這三項政策,李淵才能為李唐王朝的建立奠定基礎,也實現了從隋朝到李唐王朝的平穩過渡。
義寧二年(618年),隋朝禁軍將領馬德勘和大臣宇文化及發動了江都兵變,殺死了隋煬帝,準備率軍進入關中,卻與盤踞中原的瓦崗軍打了遭遇戰。這個時候,李淵得知隋煬帝已經死了,當即開始準備禪位典禮,讓隋恭帝禪讓皇位給他。就這樣,李淵順利即位,正式建立唐朝,以長安為都。李淵,就是唐高祖。
李淵即位之後,立李建成為太子,封李世民為秦王。然而,李世民在李淵建立唐朝的過程中戰功赫赫,在唐朝的地位至關重要,不可撼動。這為後來李世民登基奠定了堅實的基礎。