赫兹出生在德国北部汉堡的一个犹太人家庭里，父亲是律师，母亲是法兰克福大学物理学教授潘弗努肯博士的女儿。从小时候开始，母亲就对他进行严格的教育。当他六岁刚能拿稳笔时，母亲就教他学习雕刻，这不仅可以培养他的动手能力，还能培养他的专心与忍耐性。每天晚饭后，母亲都要花一个小时念一篇长文章给他听，然后鼓励他发表意见，和他一起讨论。赫兹日后能够形成特立独行的个性，与母亲的这种教育方法是分不开的。
赫兹念中学时，在正规的考试中成绩总是不好，但是他所显示出来的能力，却让学校里的老师们无法断定他的实际水平。比如，他生物课学得不好，但是他能自制出显微镜；他化学课学得也不好，但他能自己烧制实验用的玻璃器皿；他没有音乐天赋，却会自己造乐器。有一次上音乐课，同学们正在排练节目，在悦耳动听的旋律中，突然冒出来一个走调的声音。老师一追查，这个怪声是赫兹发出来的，就生气地罚他站在走廊里，不准他进教室。这一下倒正中赫兹的下怀，他拿出一本用希腊文写的书，津津有味地读起来。他在中学时代就学会了好几门外语，直到高中，他的语文成绩在班上依然名列前茅。
每次考试，赫兹都不紧张，也不担心考试结果会怎么样。每个星期六，母亲都要亲自出题，考一考自己的三个孩子，他们学得怎么样，她早就心中有数。如果孩子在学校考试中发挥得不好，她也不会责怪他们。
赫兹中学毕业后，不知道该去哪所学校读书。他先去了一所技术学院念工程系，不久就觉得学工程太枯燥，便转去念陆军军官学校。军校里紧张的训练让他受不了，父亲只得动用关系把他转出来，去念数学系。念了半年，他觉得纯数学太抽象了，又转到慕尼黑念建筑系，念了三个月又觉得没意思，再度转学到柏林大学念物理系。
在外人的眼里，他是个三心二意的学生，不会有什么出息，只有母亲相信他有出类拔萃的能力。
日后证明，赫兹最终选择的柏林大学物理系对他最合适，他在这里把对科学的热情和兴趣都发挥出来，投向尚待开发的电磁学领域。1879年，三年级的大学生赫兹参加学校里组织的论文比赛，以《电流的惰性研究》获得了第一名。他在给母亲的信中这样写道：“在精确的实验与努力里，绝对没有什么叫‘失败’。如果没有达到预定的目标，只要调整向左或向右，都是正面的结果。”
1880年2月，他完成了博士论文，研究的是电子动力学。随后他留校当了三年博士后，研究的还是电子学。当时，这是一门很超前的学问，没有多少人懂，再加上他不擅于交际，毕业后居然找不到工作。直到1883年5月，他才在德国北部军港基尔的工业学校谋到了一份职业，开设机械课。然而，他讲的课很不受欢迎，课堂上的学生差不多逃光了，最后只剩七个人听他讲课。他满腹牢骚，情绪恶劣，几乎自杀。
1885年3月，他有机会转到德国西南部边境的卡尔斯鲁尔技术学院，担任物理系教授。这所学校的实验经费少得可怜，他便自己动手烧制玻璃瓶，做电池，一点一滴地装配起一个精密的电磁实验室。虽然境遇很差，理想在现实中屡屡受挫折，但赫兹却保持着自己的雄心。他相信自己是这个世界上唯一了解星光是什么的人，星夜不仅是美丽的，而且有规律地发出不同频率的电磁波来到地上。在赫兹之前，由法拉第发现麦克斯韦完成的电磁理论，因为没有得到实验的证明，只能是天才的设想。赫兹认为自己的使命就是把电磁波捕捉到，使假说变成现实。
学校里的多尔教授很欣赏这个不凡的年轻人，便把自己的女儿伊利莎白介绍给他。伊利莎白不懂得什么是电磁波，但她喜欢赫兹的真诚与率直，两人相识四个月后就结婚了。赫兹找到了爱情的归宿，便开始了他一生中最着名的实验。
要捕捉到电磁波，就必须建立一个辐射电磁波源，这个电磁波辐射源还应当有足够的功率。赫兹的恩师赫尔姆霍茨是一位卓越的物理学家。在他的指导和帮助下，赫兹很快制成了电磁波辐射源，它被称作赫兹振荡器。
基本设备齐全后，赫兹便真刀真枪地搞起了实验。当时他的教学任务很重，每周要上20多节课，只能从课余挤时间做实验。一节课上完后，他焦急地等待最后一个学生离开教室，就把讲台当成了实验台。到下节课开始，还有三个小时的时间，这段时间正好可以用来做一次实验。
实验开始后，他和协助他的技师卡尔立刻忙碌起来，过了一个多小时，还是没有火花迸发出来，他们已经累得疲惫不堪，只好先坐下来休息一会儿。这样的失败不知道重复多少次了，好像成功与他们无缘似的，但赫兹从来没有丧失过信心，失败了就从头再来。
经过反复的探索，不断地调整思路，赫兹通过调谐电磁辐射源，加大每秒钟振荡的次数，终于证明了电磁波具有光一样的反射性能。在这个成功的鼓舞下，赫兹悉心研究了电磁波的折射、干涉、偏振和衍射等现象，并且证明了它们的传播速度等于光速。
就这样，赫兹第一个证实了光从其本质上说也是一种电磁波。
1888年，赫兹发表了他的研究成果，立刻震惊了全世界的物理学家。这位解开电磁学谜团的人，不是什么有名的教授，也不是来自名见经传的学院，而是一个默默的耕耘者。人们在钦佩他的同时，也把崇高的荣誉送给他。德国皇家科学会授予他金质奖章，着名的波恩大学礼聘他为物理学教授。不过，连赫兹本人也没有料到电磁波会在后世产生巨大的影响，开创了无线电电子技术的新纪元。就在他发现电磁波的第二年，有人问他，电磁波是否可以用于无线电通讯，赫兹还不敢肯定。
赫兹发现电磁波时，还不满30岁，人们期望他能为人类文明做出了更大的贡献。
可惜的是，他在1894年元旦因血中毒逝世，年仅37岁。为了纪念他的功绩，人们用他的名字来命名各种波动频率的单位，简称“赫”。
