少有大志 义投瓦岗
隋朝末年，在隋炀帝的暴政统治下，反隋的农民起义在全国各地风起云涌。炀帝大业十三年(617年)，当李密领导的最大的一支农民起义军夺取了洛口仓(在今河南巩县)，威震中原的时候，隋武阳郡(在今河北大名县东)郡丞元宝藏也起兵反隋。为了统一反隋的步伐，无宝藏主动写信与李密联系。李密是隋上柱国李宽的儿子，出身大贵族，自幼熟读《汉书》，很有才华，因不满隋的统治而参加了反隋斗争。元宝藏给他的信件，他看了觉得写得很好，写信者绝不是等闲之辈。他派人打听这些信是谁起草的，有人告诉他是魏征，他就立即将魏征请去，让他主管军中的文书。这时魏征已经三十八岁。
魏征，字玄成，生于北周静帝大象二年(580年)，他生后第二年杨坚就推翻北周建立了隋朝，他的青少年时代是在隋朝度过的。魏征是巨鹿下曲阳(今河北晋县西)人，后来迁居到相州内黄(今河南内黄县)。他出身在一个书香门第的家庭，父亲魏长贤博学多才，作过隋的地方官，但在魏征年幼时就去世了。由于父亲早逝，魏征青少年时期的生活是非常清贫的，但他勤奋学习，酷爱读书，希望以后能作一番事业。当隋末天下大乱，各地农民纷纷起义的时候，他拿不定主意，不知该采取什么行动，就出家当了道士。元宝藏和他是朋友，元宝藏起义后就把他请出来，动员他参加了起义军，负责掌管军中的文书。元宝藏给李密的信件，都是魏征起草的，因此他得到了李密的赏识，成了李密的部下。这时他向李密提过十条建议，但因瓦岗军这时在李密的领导下，正势如破竹地向前发展，李密很骄傲自信，并没有被李密采纳。
瓦岗军在李密的领导下，夺取了洛口仓、回洛仓和黎阳仓(在今河南浚县西南)，开仓济贫，得到了广大农民的支持，已经将洛阳城包围起来。困守洛阳的隋军，到处调兵遣将，与瓦岗军在洛阳周围反复进行了决战，双方损失都很大。这时控制了洛阳大权的隋朝大将王世充，想乘李密兵力疲惫之机，进攻瓦岗军。在王世充发动攻势之前，李密召集高级将领开会，研究对策。当时魏征的地位低，没有资格参加会议。但他认为这次决战很重要，成败关系着瓦岗军的前途，就主动找李密的长史(类似秘书长的官)郑颓说：“李密虽然在前几次大战中都取得了胜利，但是将士伤亡很多，钱财现在也很紧张，对有功的将士不能论功行赏。从这两点看，不可以与王世充打硬仗。最好的办法是，挖沟筑垒，打防御战。双方对峙久了，敌人粮尽，就会不打他而撤兵。这时再乘机追击，必然会取得胜利。”郑颈原来是隋朝的监察御史，投降李密后很受重用。他根本不把魏征这样的小官放在眼里，就讥笑他说：“你这不过是老生常谈的意见!”魏征见自己的意见不被重视，转身就走了。
类似魏征的建议，李密的一个将领裴仁基在会上也提出了。他主张乘王世充出兵东下，洛阳必然空虚之机，在分兵阻击王世充东进的同时，以骑兵进击洛阳，迫使王世充回救，必然能两获全胜。但是很多李密的部下，轻敌麻痹，要求速战。李密同意了他们的速战要求，自己亲率大军驻扎偃师城北，列营而不设垒，结果在王世充的火攻与奇袭下，全军溃败，闻名天下的瓦岗军从此而消失了。
败归李唐 再入义军
瓦岗军失败后，李密率余部去长安投降了李渊，魏征也随李密来到了长安。李渊是隋朝的太原留守，他乘隋末战乱之机，起兵太原，不久就占领了长安，建立了唐朝。
李密投降李渊的时候，还有两万多人的余众。他到了长安，受到了隆重的接待，封他为邢国公。但好景不长，不久他就被冷落，不再受到重视。后来他借李渊让他去洛阳一带招抚自己过去的部众之机，又打出了反对李渊的旗号，结果兵败被杀。魏征随李密到了长安后，因为是李密的部下，当然也不会受到李渊的重用。李密死后，他的一些旧部仍然活动在太行山以东的地区，特别是驻守黎阳(今河南浚县东北)的徐世勋，有比较大的实力。魏征为了取得李渊的信任，就自报奋勇，愿以自己的老关系，去到太行山以东地区说服李密的部下，要他们降附李渊。他的建议被李渊接受了，就任命他为秘书丞(管理国家档案图书的官)，去执行这个任务。
他首先到了黎阳，给徐世勋写了一封信说：“当初李密率瓦岗军起兵反对隋朝的时候，振臂一呼，四方一下子就有几十万人响应，隋朝的半个天下都在他的控制之下。后来被王世充战败，再也无法恢复元气，因而投归了李渊。现在经过群雄的纷争，李渊得天下已成定局。你现在占据的黎阳，是取天下者必争之地，如果不早认清形势，作出打算，就错过机会了。”徐世勐看了魏征的信，觉得他说得有道理，又听说李密已经被杀，就决定投降李渊，但为了表示对李密的忠诚，请求收葬李密的尸体。他的要求李渊答应了。
徐世勋将李密以国君之礼，葬在黎阳山西南五里的地方。魏征也不避李密叛李渊自己受到牵连的嫌疑，出于歌颂瓦岗军的心愿，为李密撰写了《唐故邢国公李密墓志铭》。他在墓志铭里，对李密这位农民起义军的将领，给予了很高的评价，对于李密的死，将他比做垓下失败的项羽，表示了惋惜和同情。他的很多正确意见，虽然不被李密所接受，导致了以后的失败，但他对这位战友毫无怨恨之言，而表现出无限的赤诚之心。
魏征劝说徐世勋降唐后，徐世勋就从经济上支持了被窦建德打败的唐将李神通，使他自相州(今河南安阳)能撤退到黎阳，从而保存了实力。后来，魏征又去魏州劝说自己的老朋友元宝藏也归降了李渊。
武德二年(619年)十月，窦建德领兵南下，攻占了黎阳，这时魏征正在黎阳，成了窦建德的俘虏。窦建德是农民出身的一个起义领袖，他起义后能与士兵共甘苦，所以得到了起义群众的拥护，成为占据河北一带的一支主要的反隋起义军。这时窦建德已在乐寿(今河北献县)自称长乐王，建立了农民革命政权。魏征被俘后，他早已听说魏征的名气，就任命他为起居舍人(记录皇帝言行的官)。
武德三年(620年)七月，李渊命李世民率大军东征洛阳，进攻隋的残余势力王世充。王世充屡战皆败，洛阳形势十分危急。王世充为了摆脱困境，多次派人向窦建德求援，窦建德起初未加理睬。当王世充眼看就要被李世民所消灭，窦建德认为如果王世充被李世民消灭，对自己的处境不利，因而决定率军南下救洛阳。窦建德率十余万大军，很快就到达成皋(今河南汜水县西北)的东原，他致书李世民，要他退军潼关。
李世民围攻洛阳马上就可功到垂成，他当然不会因为窦建德的威胁，就前功尽弃。他留一部分人继续围攻洛阳，自己率精兵急奔虎牢关，阻击窦建德。由于窦建德刚愎自用，不听取部下正确的意见，与李世民军队在虎牢关采取正面决战的行动，被李世民用骑兵击溃，窦建德本人也被俘获。魏征看来当时也在窦建德的军中，但没有起什么作用。窦建德兵败后，他与窦建德的妻子曹氏和裴矩等人，逃到沈州(今河北永平)，在窦建德的部下齐善行的建议下，以余众投降了唐朝。魏征和裴矩一起，又到了长安。魏征在李密的瓦岗军中有一年的时间，这次又在窦建德的河北起义军中一年半，前后共在农民起义军中活动了两年多的工夫，时间虽然不长，但对他以后一生的政治活动，起了重要的影响。
太子洗马 鸿图未展
魏征到了长安后，因为又当了一段窦建德的部下，当然更不会被重视了。李渊的太子李建成，听说魏征有才，就招为洗马，这是太子东宫主管经籍图书的一个小官。
这时李建成和李世民兄弟之间为了争夺皇位的继承权，斗争已经开始尖锐化。李建成作为李渊的长子，虽然已被立为太子，但地位并不稳。因为他的弟弟李世民，从太原起兵后，就率军东征西讨，屡建功勋，很有势力，在大臣和将士中的威望都很高。这对李建成无疑是一个很大的威胁。
魏征既然在自己不得志的时候为李建成招为洗马，就觉得李建成很看重自己，所以他也为李建成的太子地位担忧。这时正好窦建德的旧部刘黑闼，又在河北一带收复了窦建德的旧地反唐，魏征认为这是李建成立功提高自己威望的好机会。他向李建成建议说：“李世民功劳大，威望高。你长年在首都协助李渊处理政事，没有李世民那样显赫的战功。现在刘黑闼纠集了窦建德的一些散兵败将，人数不到一万，也缺乏粮草，他虽然占领了一些地方，但不堪一击。这是一次很好的取得战功，结纳山东豪杰，以壮大自己势力，提高威望的好机会。你应该争取自己率兵去打这一仗，千万不要错过这个机会。”李建成接受了魏征的意见，得到李渊的同意后，就亲自率军去攻打刘黑闼。在与刘黑闼作战过程中，魏征给他出谋献策，用瓦解对方军心的办法，宣布除刘黑闼外，其他人只要放下武器，一律不加追究。这样很快就瓦解了刘黑闼的军队，李建成同时也在河北一带安插了亲信，收买了豪强，使之成为自己争权的外援。魏征的建议取得圆满的成果。