黄霸字次公，西汉年间淮阳阳夏人。他为官清廉，为人正直，是当时著名的清官，深受老百姓的拥戴。
汉宣帝初年，诏书为汉武帝立庙乐，并让满朝文武大臣们讨论。讨论中，大臣们认为皇帝的这个主意很好，但一老臣夏侯胜却表示反对，他说：汉武帝虽然有开疆扩土的功劳，但他生活非常奢侈，乱杀无辜，强征于人民，使得“天下虚耗，百姓流离”，既然“无德泽于民”，当然就不应该给他立庙乐。
黄霸当时正做着丞相长史的官，也参加了讨论。他对老臣夏侯胜的议论，很有几分赞许，所以既没有当场制止，事后也没有向皇帝劾奏。结果，夏侯胜被加上“非议诏书，诽谤先帝，大逆不道”的罪名，被抓入狱。黄霸也被加上附和、纵容“逆臣夏侯胜”的罪名，和夏侯胜关在一起，准备处以死刑。
夏侯胜是研究《尚书》的专家，在当时很有名气。黄霸虽然知道自己已被判处死刑，但觉得和这么一位专家在一起，实在是一个难得的学习好机会，便主动请教夏侯胜，请他给讲解一下《尚书》。
夏侯胜觉得此时此地还研究《尚书》，已无什么实际意义，便婉言劝说：“你我都是犯罪做牢的人，说不定明天就会被推出去砍头，还讲《尚书》有什么用呢？”黄霸求知心切，笑了笑说：“孔子不是说过吗？‘朝闻道，夕死可矣！’如果能够抓紧时间多学一点东西，在被砍头的时候，也心情快慰呀！”夏侯胜终于被黄霸的这种热爱学习的精神感动了，答应了他的请求。
从那以后，黄霸和夏侯胜时而讲书，时而诵读，时而共同讨论。在三年的牢狱生活中，一个教而不厌，一个学而不倦，都没有虚度光阴。后来被释放出狱的时候，两个人的学问都有了很大的长进。
