严豹辞官后，与弟弟严虎两人一齐拉起一支队伍，活跃在二郎山一带，专打贪官与鱼rou百姓的财主。

董卓任并州刺史时任指定他的心腹出任五原郡太守。新任太守如董卓一样贪赃枉法，严豹弟兄很气愤，就经常偷袭太守的老巢，结果惊动了董卓。董卓派兵协助太守围剿严氏弟兄，结果非但没有将其剿灭，反而使他们名声大振，许多仁人志士都往二郎山跑，使严家队伍不断壮大。

董卓进京之后，严氏兄弟的队伍在五原郡一带更加活跃。董卓曾经想让吕布派人去拉拢严豹和严虎。

吕布却说：“义父，我与严豹严虎素来不和，他们不可能听我的，也不会归降。”吕布这话是违心的，其实是他不愿意为董卓去当说客，何况他知道严豹的为人，根本不会归降董卓，所以他才以此为借口谢绝董卓。

严豹得知妹夫吕布投靠董卓之后非常气愤，一度对家人宣布与吕布断交，可是后来吕布杀董卓之事让他彻底改变了看法，对吕布也就肃然起敬。吕布等人被围困京城之时，他也想过要助吕布一臂之力。

严豹经常派人去打探京城之事，有一天他得知京城被董卓旧部李傕率领十万人马将京城围困，就与弟弟严虎协商，准备率领手下解救京城，但是严虎没有同意。

严虎说：“二郎山与京城如此遥远，一旦长途跋涉前往京城就会惊动并州董卓旧部，他们如果趁机抄了咱们的后路，那咱们可就面临危险了。再说京城已经被李傕十万大军团团围住，靠咱们这区区几千人马根本无法解救。”

严豹说：“假如咱们能够冲进京城，就能够和奉先的队位合兵一处对付叛军。再说各路诸侯也会前往解救，小皇帝在京，大家总得为大宋江山着想吧？”

严虎则说：“哥，你把那些诸侯想得太伟大了，可他们均是一些唯利是图之人，京城被叛军所围，他们却都在为自己的小集团着想，哪里有人出面去解救京城？哥，就凭我们这几千人马绝对打不进京城去。要我说还不如保存实力静观其变。或者我们就近抄了凉州人马的后路，将五原郡攻下，占郡为王。”