杨玄感于是在河南郡屯兵，准备攻打东都洛阳，并向被占领的郡县百姓宣扬道：“杨某身为上柱国，家里黄金细软甚多，可说身处既富且贵的地步。杨某如今已是一无所求，不顾被破家灭族的危险，只是为了为天下人解倒悬之急，拯救黎民百姓的性命罢了。”

沿途的民众听了他的煽动之言，都很高兴，到他军中请求效力的，每天都有数千人。杨玄感信心大增，还迫不及待地给樊子盖写信，说明利害关系，希望樊子盖能归顺于他，不过樊子盖却是严辞拒绝了他的招降，反而屯兵于虎牢关，阻挡杨玄感进入洛阳。让杨玄感一时之间难以寸进。

而半个月后，形势却发生了变化：长安太守卫玄，率军五万，奉杨广之命，从关中赶过来援救洛阳了。

卫玄先用步兵、骑兵二万，作为前军渡过黄河前来挑战，杨玄感决定采取诱敌深入的办法，先假装败退，然后将敌军引入了自己的埋伏圈。

卫玄不知是计，只顾追赶，结果这时杨玄感的伏兵冲了出来，隋军大为恐慌，几乎溃不成军。卫玄的前军全被歼灭。

几天后，卫玄又与杨玄感交战，两军刚交战不久，杨玄感就故意让人大呼道：“官军已经捉住了杨玄感了！”

卫玄军以为己方大胜，顿时松懈了下来。但这时，杨玄感亲率八千骑兵乘机从侧翼进攻，并高呼自己还在，杨玄感军顿时士气大振。

卫玄军士卒眼见敌军主帅还在，心中落差极大，士气顿时受挫，加上受到杨玄感军两面夹击，顿时被杀得大败。卫玄最后只带了两千人逃走。

杨玄感骁勇力大，每次作战，他都亲自挥舞长矛，身先士卒，呼叫叱咤，众敌莫不震骇。人们把他比作项羽。

而在起事前期，他又善于安抚、带领部队，那些投军的士兵也乐意为他拚死效力，因此战无不胜。

卫玄军被追杀得十分窘迫，一直退到邙山才站稳脚跟。

不过这时他也得到了从河东、荆襄赶来的隋军支援。

但他的兵力虽然增加了，可粮食却有些不足。于是卫玄决定孤注一掷，率领全部人马上前决战，阵地就摆在北邙。

由于隋军是背水一战，十分勇猛，和杨玄感军在一天之中，交战了十几次，双方互有胜负。

杨玄感也第一次遭受到了挫败：他的弟弟杨玄挺不小心被隋军流箭射死，导致其所率部队崩溃。

无奈之下，杨玄感军不得不稍稍退却。而这时，在荥阳的李渊也派兵赶到，从杨玄感军背后杀到，李渊之子李玄霸阵前一锤击毙了杨玄感的弟弟杨玄纵。杨玄感军顿时大败，不得不向黎阳退去。

而这时，杨广却已经到了河北。他于是先命从江淮赶来支援的武贲郎将陈棱，率一支偏师，急行军到了黎阳城下，开始进攻已经投诚杨玄感的元务本。

然后，杨广又派右武卫将军屈突通驻扎在河阳，准备渡过黄河进攻杨玄感军。

左翊卫大将军宇文述也率十万隋军发兵继进，杨玄感原本一片大好的形势，顿时逆转。

杨玄感这时方懊悔不已，忙请计于李密。

李密思忖片刻之后，则献计道：“主公，宇文述有大军十万，且军中猛将如云，如待其大军到达，我军就势难抵挡。但屈突通军则兵力稍弱。如让其渡过黄河，和宇文述合兵一处，那么就败局已定。不如分兵拒守黄河，只要让屈突通过不了黄河，则樊子盖、卫玄就失去了援兵。而己方抢在敌人援兵到来之前，先行击溃卫玄和樊子盖军，尚有一线胜利希望。”

杨玄感认为此计可行，便派其子杨嵘分兵赴黄河拒防屈突通。

樊子盖却看破了他的计谋，一直不停地进攻杨玄感的军营，便杨玄感又犹豫起来，担心分兵之后，无力击溃樊子盖和卫玄的军队。

而屈突通便抓住此机会，渡过黄河，在破陵驻军，威胁杨玄感军的侧翼。

此时，杨玄感不得不将军队一分为三，北面抵抗卫玄，东面抵抗屈突通，西面抵挡樊子盖。