卢俊义幸得燕青、石秀以及其他梁山众好汉等先后搭救，便上梁山落草。他上梁山之后，坐上了第二把交椅，成为了总督兵马第一副元帅。忠义堂前亦竖起了“山东呼保义”、“河北玉麒麟”两面大旗。
他上梁山后的成名战是活捉史文恭，一战名扬天下：
当时晁盖攻打曾头市时，被曾家五虎的师父史文恭毒箭所伤，不治而死。史文恭射死晁盖，刺伤秦明，使梁山其他好汉大吃一惊，共同商议为晁盖报仇。
卢俊义在率兵攻打曾头市的时侯，因极速活捉史文恭而震撼群雄，在江湖上一战扬名。
此后，两破童贯时，卢俊义活捉童贯手下大将酆美。紧接着进行了四大征，即征辽、征田虎、征王庆、征方腊。
征辽之战中，卢俊义大显神威，独自跃马挺枪与大辽四员猛将酣战一个时辰，最后战胜耶律宗霖，吓跑耶律宗雷、耶律宗电和耶律宗云，又将一伙约有一千多人的辽兵杀得四散奔逃。
此战在整部《水浒传》中仅有一例，这是卢俊义武力发挥的巅峰，也是卢俊义最辉煌的战绩。
卢俊义在征讨宋朝其他三个心腹之患“田虎、王庆、方腊”时，活捉卞祥、斩杀杜壆、秒杀方翰、杀厉天闰、破司行方、秒杀方垕、捉贺从龙，展示了其强大的能力。
卢俊义和宋江一同征讨了辽国、田虎、王庆、方腊后，官至武功大夫、卢州安抚使。
蔡京等奸臣传召卢俊义回京，把水银放在皇帝赐给他的饭菜中，卢俊义痛得无法骑马，只好坐船回庐州，途中失足落水溺死。
在《说岳全传》中，卢俊义是周侗的徒弟，与林冲、岳飞是师兄弟，这种说法流传极广。而后世的大量评书等衍生文学作品中，又加入了史文恭是卢俊义师兄弟的说法，在民间多次卢俊义被塑造成水浒中第一猛将。
总之，卢俊义的战绩一流：诸如单挑50余合擒孙安、50回合协助孙安杀杜壆、独立挑败耶律四将、三十合杀方腊旗下猛将厉天闰、擒史文恭等等。
其实卢俊义和史文恭，还真不好分出上下，不过有着卢俊义擒获史文恭的事实优势，史文恭还是略逊一筹，但也不多。这二人，我们就做十大金刚并列第四吧。
他的英雄事迹：射杀晁盖，二十回合胜秦明，吕方、郭盛、马麟、邓飞四将齐出，亦敌不住。此外，黑暗之中史文恭的箭法也真是了得，万军丛中正中晁天王脸颊，真神箭也！
此人与林冲，卢俊义师出同门，并且是卢俊义等人的大师兄。
在原著里，卢俊义之所以能搞定史文恭，主要是因为史文恭在气势上先输了。当时史文恭拼命逃出，体力一定有很大的损耗，加上是败军之将，落荒而逃时又受到晁盖的鬼魂的惊吓，这或许是主要原因。
精神处在崩溃的边缘，而梁山一方稳操胜券，卢俊义首先在心理上没什么压力，又是以逸代劳，在体力上也远胜于史文恭，所以才能一招搞定。
作者为什么安排这么多，就是因为他知道，不安排客观原因，卢俊义不容易打过他的。