当过郡决曹掾，他本人也作过狱吏。
但是，王霸很有抱负，平时言行举止慷慨有大志，老是嫌做狱吏无所作为。
他的父亲较为开明，就安排他游学长安，寻找发展机会。
当刘秀最初起兵路过颍阳时，王霸返乡，率领亲朋好友前去拜谒，表示愿意追随刘秀建功立业。
他诚恳而谦逊地说：“将军您兴起义军，我不自量力，仰慕您的威望和德行，很想跟随您行军打仗，以身
效劳。”
（将军兴义兵，窃不自知量，贪慕威德，愿充行伍。）
刘秀见他气宇轩昂，也待之以礼，诚恳地说：“我做梦都希望得到贤能之士的帮助，让我们共同成就一番
事业，坚持不懈、努力到底。”
（梦想贤士，共成功业，岂有二哉。）
从此，王霸开始追随刘秀南征北战。刘秀对王霸也没有看走眼。
在昆阳血战中，王霸紧随刘秀身边，立下了汗马功劳。
后来，王霸一直忠诚地追随刘秀，戎马一生，克敌制胜，治理地方，安定边疆，立下无数功勋。
更难能可贵的是，在刘秀最困难的时候，跟着王霸一起来的亲朋好友实在受不了那份苦，一个个离开了，
他则坚定地追随刘秀不改初衷。
刘秀对他的忠诚很感动，说：“当初从颍川追随我的人都走了，只有您留下来，真是疾风知劲草，让我们
一起努力吧！”
（颍川从我者皆逝，而子独留。努力！疾风知劲草。）
“疾风知劲草”这种对人的忠诚可靠的形象比喻，最初就是刘秀给王霸的。
眼下，这样一个忠诚可靠的王霸，也被刘秀安排回家乡颍阳发展力量。
还有一个祭遵，字弟孙，也是颍川郡颍阳县人，与王霸是老乡。