樊哙市井徒，萧何刀笔吏。

一朝时运合，万古传名器。

寄言世上雄。虚生真可愧”。

诗成之时，他自己悲从中来，竟至落泪。当时有人感到奇怪，便把此事告于太守赵佗。赵佗遂派人前去抓捕，李密闻风而逃，躲过此劫。李密无处可去，只好躲在他妹夫雍丘县令丘君明家里，丘君明不敢收留。便让他藏在游侠王秀才家。王秀才还将女儿嫁于李密。不久，丘君明的从子丘怀义向官府告发，梁郡通守杨汪相知前去抓捕。汪相知派兵包围了王秀才家，命大的李密正好外出，因此得以逃脱，而丘君明和王秀才却因此事被杀。

走投无路的李密在翟让的部将王伯当的推荐下于大业十二年(616)十月，投奔翟让。

李密来到瓦岗军后，其中有人知道李密是杨玄感的亡将，朝廷通缉钦犯，可能是怕招来朝廷的大规模围剿于是暗中劝翟让将李密除掉。李密闻后，心中大惧，便通过翟让部将王伯当向翟献计：“今主昏于上，人怨于下，锐兵尽之辽海，和亲绝于突厥，南巡流连，空弃关辅，此实刘、项挺兴之会。足下资豪桀，士马精勇，指罪诛暴，为天下先，杨氏不足亡也”。翟让闻后，说：“吾侪群盗，旦夕偷生草间，君之言者，非吾所及也”。从此对李密礼遇有加。

当时有个叫李玄英的人，从东都逃出来，在众义军中寻访李密，并云“斯人当代隋家”。别人问其故，李玄英说：“比来民间谣歌有《桃李章》曰：‘桃李子，皇后绕扬州，宛转花园里。勿浪语，谁道许！’‘桃李子’，谓逃亡者李氏之子也；皇与后，皆君也；‘宛转花园里’，谓天子在扬州无还日，将转于沟壑也；‘莫浪语，谁道许’者，密也”。待与李密相遇后，遂委身事之。还有前宋城尉齐郡人房彦藻，自负其才，但却无法施展，因而参与了杨玄感之事。杨玄感失败后，房彦藻隐姓埋名，结果在梁、宋之间，遇到了李密。此时，翟让命李密游说邻近的小股义军，李、房二人以身相随，所至皆附。翟让见李密为豪杰所归，欲从其计，但犹豫未决。

翟让手下有个叫贾雄的人，通晓阴阳占候，被翟让命为军师，而且言无不用。李密主动与贾雄结下深厚的交情，然后让贾雄暗中助他。时值翟让召贾雄议事，并将李密所言告诉了贾雄，问其是否可行。贾雄说：“吉不可言。”又说：“公自立恐未必成，若立斯人，事无不济。”翟让不解，问道：“如卿言，蒲山公当自立，何来从我？”贾雄回答说：“事有相因。所以来者，将军姓翟，翟者，泽也，蒲非泽不生，故须将军也”。没有什么文化的翟让听他这样一说，深信不疑，从此翟让和李密关系与日俱增。李密得到翟让的信任后，便开始参与瓦岗军的议事。

而后，李密向翟让建议道：“今兵众既多，粮无所出，若旷日持久，则人马困敝，大敌一临，死亡无日。未若直趣荥阳，休兵馆谷，待士马肥充，然可与人争利”。当时瓦岗军粮食供给不足，仅靠截取隋廷漕运来维持军需。所以李密的这一建议得到了翟让的首肯，翟让依计而行，率军于同月攻破金堤关(河南荥阳)，随即攻下荥阳诸县，进逼荥阳城。杨广知道后命河南道十二郡讨捕大使张须陀为荥阳通守，率其精锐近三万余前往镇压。另派荥阳太守郇王杨庆率军配合张须陀作战。

张须陀曾镇压山东地区多支农民起义军，在当时有名将之称。在李密来到瓦岗之前翟让多次为其所败，故对其甚是忌惮，一听是张须陀带兵前来，心中大惧，欲率军远避其锋。这时李密便对翟让说：“须陀勇而无谋，兵又骤胜，既骄且狠，可一战而擒。公但列阵以待，保为公破之”。这时对李密有点言听计从的翟让只好硬着头皮不得出战，二十七日，李密率骁勇常何等二十人为游骑，分兵千余人于大海寺(河南荥阳)北林内设伏。翟让以主力从正面迎敌，张须陀军以方阵进击，翟让率军接战后便退。张须陀素来轻视翟让，见瓦岗军败退，以为有机可乘，遂率军追击十余里，至大海寺附近，李密伏兵四起骤起，翟让也回军反攻，张须陀兵败。李密又让徐世勣、王伯当将张须陀军合围，经过激战，大败隋军，杀张须陀，其副将贾务本受重伤后率残部5000余溃逃。

此战，李密用计和指挥正确，一举歼灭隋军主将，取得了瓦岗军成立以来的第一次重大胜利，使河南郡县为之丧气。瓦岗军随后乘胜攻占军事重镇荥阳城，为夺取粮仓，发展壮大力量，创造了有利条件。战后，翟让令李密独立设帐统领一部兵马，因李密曾经的爵位是蒲山公故他的兵营号蒲山公营。李密治军严整，“凡号令士卒，虽盛夏，皆如背负霜雪”。志在天下的李密的生活也很俭朴，所得金宝，全部分给部下，所以深得众心。在打败张须陀攻占荥阳城后，没有多大志向的翟让就对李密说：“今资粮粗足，意欲还向瓦岗，公若不往，唯公所适，让从此别矣”。翟让率辎重东归，李密则西行至康城，说下数城，大获资储。翟让大为后悔，也率兵随李密而行。