李渊祖籍陇西成纪（今甘肃秦安），他的祖父李虎，是后魏的陇西郡公，官最高到太尉，死后追封唐国公，这就是后来李渊所建大唐年号的来历。李渊的父亲继承了唐国公的封号，在北周时任柱国大将军。在公元566年（北周天和元年）出生于长安，仅7岁就继承了唐国公的称号。因为有了较高的出身，加上他本人的豁达与宽厚、才干出众，因此他威望很高。他的妻子窦氏也是隋朝贵族出身，作为一名难得的贤内助，窦氏对李渊的作用不可忽视。
窦氏的聪明超出了一般人。隋炀帝看到李渊的脸上皱纹多，便戏称李渊是“阿婆”。李渊回了家很不高兴，窦氏问清原因，马上贺喜道：“这是吉兆啊，你继承的是唐国公，‘唐’便是‘堂’，‘阿婆面’就是指‘堂主’啊！”窦氏指的是李渊将来要做皇帝，取代隋炀帝。
窦氏在政治方面对李渊的帮助是非常大的。李渊原来有不少骏马，窦氏就劝他献给爱马的隋炀帝：“皇上喜欢鹰和马，您是知道的，现在应该把骏马献给皇上，不该自己留着，招人闲言诬陷。”李渊开始还舍不得他的骏马，后来真的被隋炀帝责问。窦氏在45岁时去世，李渊这才细细琢磨亡妻的话，觉得很有道理，于是就经常给隋炀帝送骏马鹰犬，隋炀帝果然异常高兴，很快升李渊为将军。李渊流着泪对儿子们说：“我如果早点听你们母亲的话，早就做上这种官了。”
李渊原来做过刺史，在隋炀帝即位之初做了荥阳（今河南荥阳）、楼烦（今山西静乐县）两个郡的太守，后来任殿内少监、卫尉少卿。公元613年（大业九年），隋炀帝征伐高丽时，李渊在怀远镇督运粮草。这时，杨玄感利用民愤举兵反隋，后来失败。在这期间，李渊奉命镇守弘化郡（今甘肃庆阳县），广交天下豪杰，遭到隋炀帝的猜疑。在615年调任山西、河东，到达龙门时，遇上了母端儿农民起义，李渊领兵击败了起义军，收编万余人，实力大增。第二年，他升为右骁卫将军，任太原道安抚大使，从此落脚太原，经营后来的起家之地。
镇守太原之初，李渊就表现出过人的军事谋略。隋炀帝从楼烦巡游到雁门时，被突厥兵包围，因为李渊的太原兵才得以解围。隋炀帝便让他和马邑郡守王仁恭一同北击突厥。但他们的兵马很少，不足五千。李渊便选出擅长骑射的两千骑兵，吃住骑射仿效突厥兵，向突厥炫耀武力，等和突厥兵遭遇时李渊便下令攻击，结果打败突厥。从此之后，突厥不敢再轻易南下了。
617年，李渊正式任太原留守，成为一地最高长官。这里粮草充足，兵员广阔，李渊在此扎下根来，开始积蓄力量。
李渊为了巩固太原这块根据地，北面和突厥交好，消除隐患，南面主要是镇压了历山飞起义军。李渊通过收编其残余，进一步壮大了自己的力量。
公元611年（大业七年），各地农民起义不断，全国共有近二百多支反隋起义军。后来逐渐形成三支主力，即窦建德领导的河北起义军，杜伏威领导的江淮起义军，李密、翟让的瓦岗军。
在617年，马邑郡（今山西朔县）人、鹰扬府校尉刘武周因为和太守王仁恭的侍女私通，怕被发现，便以贪污之名杀死了王仁恭，起兵建立定阳国，自称天子。
李渊就以讨伐刘武周为名，开始招兵。因为这时还是以隋朝官员的名义行事，所以在很短的时间里便招到近万人。这遭到太原副留守王威和高君雅的猜疑，他们都是隋炀帝的亲信，对李渊颇有戒心。李渊则拉拢、利用他们身边的亲信掌握其动向。等李渊要正式起兵时便设计锄掉了身边的两个隐患。
617年（大业十二年）农历五月十四日的夜里，李渊命李世民在晋阳（即太原）宫城外埋下伏兵。第二天早晨，李渊和王威、高君雅议事。刘文静领开阳府（太原十八府之一）的司马刘政会到庭中，说有密状给李渊。李渊便让他交上来，但刘会政却不交，说要告的是副留守，只有李渊才能看。李渊假装吃惊地说：“怎么会有这种事？”李渊看后便对大家说：“王威、高君雅要勾结突厥入侵。”于是命人逮捕了他们二人。第二天，恰好有突厥几万人围攻太原，这更使人相信了。李渊趁机将二人杀掉。
除了内患，李渊又智退突厥兵，然后与突厥和好，消除了北方的威胁。
杀掉王威和高君雅之后，李渊便和将士紧密防守，对付突厥。他命裴寂和刘文静坚守城门，同时又让大门洞开。城墙上不竖旗帜，守城士兵不许张望、喧哗，这使突厥不明底细，不敢入城。李渊又在夜里派兵出城，早晨改道进城，使突厥误以为是援兵到达。最后突厥只好退兵走了。李渊的军事智谋由此可见一斑。
突厥兵虽然退去了，但难保不再来。为了从根本上解决问题，李渊给突厥写了书信：“若能从我，不侵百姓，征伐所得，子女玉帛，皆可汗有之。”信中为了稳住突厥，李渊委曲求全地用了臣下的语气，这样做也是为了给南下用兵扫除后顾之忧。事实证明，李渊的策略收到了预期的效果。
617年（大业十三年）农历七月，李渊率军三万誓师，正式起兵。在发布的檄文里斥责隋炀帝听信谗言，杀害忠良，穷兵黩武，致使民怨沸腾，“豺狼充于道路”，因此，李渊要废掉昏君隋炀帝，尊为太上皇，然后拥立代王杨侑为帝。其实，这仅仅是李渊的一种号召天下的策略。
这时，李渊刚从太原起兵，瓦岗军首领李密便写信给李渊，想和他结盟共图大计，实际上是想让李渊尊他为盟主。李渊收到信后，非常高兴，他当时正需要有人为他阻挡中原还没有被消灭的隋朝军队，使他免去后顾之忧，集中兵力拿下长安。于是李渊给李密回信，对李密极力吹捧，说自己没有取代隋朝之意，这就是李渊自己所说的“卑辞推奖以骄其志”的计策，先麻痹李密，让他阻挡中原的隋军西进。
李密受到李渊的回信也是非常高兴，于是专心于对付东面的隋军。一东一西，两个李姓人开始了较量，但李密最后还是稍逊一筹，败在李渊手下，还丢了性命。
在618年，瓦岗军和洛阳的隋军作战失利，李密想东山再起，却遭到了部将们的反对，他只好到长安投靠李渊。李渊热烈欢迎他，当成贵宾对待，常称李密为弟，还将表妹嫁给他。但后来李密又嫌弃官小，对李渊说想回山东收服部下，帮李渊拿下洛阳。
李渊表面上答应了他的要求，暗地里却派长史张宝德监视，等李密离开长安要出关时李渊却下令让他留一半兵在华州（今陕西华县）。这时，和李密同行的张宝德向李渊告密说李密要叛乱，实际是张宝德怕李密跑掉自己担不起责任。李渊便命李密一人入朝。李密感到大祸临头，便起兵想闯出关去，结果被围歼。在和李密的斗争中，李渊充分利用了李密骄傲自大的缺陷，在开始吹捧李密，等长安拿下后，李密投靠他时又设计除掉了这个隐患。
李渊在太原起兵之后，便以进军关中拿下长安为最终目标。西进的第一个障碍便是西河郡（今山西汾阳县）。李建成和李世民兄弟俩仅用了九天便得胜而归，使得李渊喜出望外。
然后，李渊建立了自己的基本的军事和政权机构：设置大将军府，自称大将军，长子李建成为陇西公、左领军大都督，统领左三军；李世民为敦煌公、右领军大都督，统领右三军；裴寂和刘文静为长史司马。
第二战是决战霍邑（今山西霍县）。在霍邑的西北有个贾胡堡，是霍邑的门户，但守卫霍邑的宋老生却没有派兵把守，李渊由此断定宋老生是个无能之辈。
李渊害怕宋老生守城不出，打成持久战对自己不利。李世民却认为可以挑战引他出来决战。于是李渊让两个儿子领几十名骑兵进城观察，自己将部队分成十几队，从城东南到西南，摆出一副安营攻城的架势。宋老生果然中计，以为李渊要攻城，便领兵三万出战。李渊领兵假装后退，让李建成和李世民领兵抢占了东门和南门，切断了宋老生的退路。在交战中李渊又散布宋老生已经战死的谣言，动摇了隋军的军心。隋军大败，全军覆灭。宋老生也在被守军用绳子往城墙上提时，被李渊的军头卢军谔跳起杀死。李渊顺利占领了霍邑。
此后，李渊又攻打河东，没有攻下。李渊听从了李世民直接入关中的建议，分兵攻长安。等围攻长安成功建立唐朝之后，又继续围困，到620年（唐高祖武德三年）农历正月才最终占领河东。
在招降长安失败后，李渊下令攻城，占领之后又下令禁止掳掠百姓，受到百姓们夹道欢迎。在617年（隋大业十三年）的农历十一月，李渊拥立隋代王杨侑为帝，即隋恭帝，改元义宁，尊在江都（今江苏扬州）的隋炀帝为太上皇，李渊为大丞相，封唐王，以武德殿为丞相府（所以后来李渊便以“武德”为自己在位时的年号），李世民为秦王。这实际是在为以后称帝搞一个过渡。
到618年（大业十四年）农历五月，隋炀帝的右屯卫将军宇文化及在江都兵变，勒死了隋炀帝，然后立秦王杨浩为帝，自己做大丞相，随后领兵十万北上，但被李密打败。宇文化及败走魏县（今河北大名东），毒死杨浩，自己称帝，建立郑国。第二年，过了皇帝瘾的宇文化及在聊城被窦建德杀死。
隋炀帝一死，李渊便甩开了隋恭帝，在618年（武德元年）逼杨侑禅位，称帝建立唐朝，改年号为武德，定都长安。
