上海公用给水站最早出现于1928年，当时称作零售水站，主要是在贫民草棚之处设水龙头，供贫民使用。但就是这样，1949年以前，上海市内棚户区中还是有100多万人用不到自来水。
新中国成立后在全市没有自来水的地区陆续设立给水站。1950年，上海有公用给水站355座，用水人口近20万，很多地方是用井水；1966年，上海有给水站3903座，用水人口约l60万，平均400多人使用一座给水站。1979年达到高峰，全市给水站达到4490座。
早期的给水站大都设在棚户区内的中心位置，砌有一个大水池，里面储满了水，用水高峰时人们可直接从池子里取水，以减少排队时间。但更重要的是这池子具有消防功能。棚户区大多弄堂狭窄，消防车无法进入，一有火灾，这池子便是居民灭火的救命之泉。
上海居民对公用给水站，都可以讲出一大串故事。一大早大家都要抢着用水，人多的时候要排队等，后来有人就用铅桶、脚桶之类的东西放在池边替代人排队，有时候排队要排到弄堂里，弄得不好还会吵起来，甚至打起来。
遇到天冷，自来水管子冻住了，就要用开水去浇水龙头。冻得厉害时，开水浇也浇不开，只能等冰慢慢化开再用。有时自来水管子被冻得爆裂了，水没有了，大家连饭也不能烧。结冰时，地上很滑，年纪大的人弄不好就会摔跤。
没有洗衣机的时候，大家要洗东西就把脚盆放着接好水在边上洗，一个一个挨着用。有了洗衣机后，大家天不亮就争着把洗衣机往龙头边放，接上管子就洗起来，这样后面排队的人就难免有意见。
对许多上海居民来说，几乎每一天的生活都是从给水站开始的，黎明到来之后，人们陆续走出家门，洗脸漱口，洗菜倒马桶，在一声声亲切的招呼声中，每个人几乎都先先后后地要到给水站来走上一趟。休息日和节日里更是热闹，洗衣洗菜，家长里短，给水站俨然已是社会的一个小小缩影。
l999年6月，位于卢湾区丽园路713弄内的上海最后一座公用给水站被拆除。
