为了保证前线将士的粮食供应，张朝珍发布告示，在黄州等地收买稻米。本来军粮只能收买上仓糙米，但张朝珍指示是米即收。一时黄州所属的大河小江里粮船云集，米价飞涨。百姓或贪价或被逼将粮食卖给官军，穷老百姓却“欲买升合不能到手”。于成龙针对这种现象，给张粮道写了《谏止采买禀》（《政书》卷2），“伏乞宪台密饬差役……糙米之外，勿包揽各船，仍分些须，以济民食”。张粮道采纳了于成龙的建议，黄州地方得以安谧。
十月，黄州纷纷谣传，有丁男抽丁男，无丁男抽丈夫。因为没有上峰牌令，于成龙以为又是有人造谣，准备张贴布告。但是布告未出，抽丁之牌令已到：限定某州某县招募枪手（猎户）若干名。招募枪手则可，若限定某州某县招募若干，就非常不易。黄州百姓大都是耕地之民，各恋父母妻子，其中也有少数游手好闲之徒情愿应召入伍，这是当时的兵源。这种人心甘情愿，但不一定均匀地分布在某州某县，若是法定某州某县招募枪手若干名，有司不善奉行，畏上督责，粗暴强逼招收，若招收不到，势必不得不拘押乡保。如果有人乘机煽惑，黄州之旋风再起，将如何是好！于成龙深悉黄州民情，也曾目睹过拉壮丁时亲友泣别，牵衣顿足哭声直上云霄的凄惨场景。他毫不犹豫地给张朝珍上《请免募枪手禀》（《政书》卷2），说：“如招募必不可免，似不宜分派州县，限定数目，只责成龙量其缓急，陆续招解。”以便上不误公，下不病民，人心安定，地方平静。
张朝珍接到于成龙的禀文，担心招收不够兵员，便仍责成龙招募猎户。理由是猎户有枪，且会使枪。于成龙遵令招募，先发牌于州县，但州县招募不起，误了军期。张朝珍非常恼火，于成龙一包儿揽起，只身承担全部责任，并向张朝珍申明：黄州猎户最少，招募不起，而州县不敢将精壮农民冒充猎户。张朝珍念于成龙德高望重，没有给予处分。
康熙十四年（1675）六月，黄州旱灾已极，许多庄稼枯死，民无以为食，而有谷米之家封仓闭粜，准备秋后卖高价。于成龙积极劝赈，鼓励百姓不种麦谷种蔬菜，并且晓谕百姓勉力支持，以免造次而“死于法”。同时动用库粮赈荒，力求灾民“得生于饥”。到了八月，眼见黄州大荒已定，黄安饥荒尤惨。于成龙将九个下属州县的灾情痛切呈详，请蠲请赈，将所属未完的支前什物一概免掉。新摊派的草料等物资，于成龙发饷银代买，不动老百姓的瘦血枯骨。到了隆冬，风雪载途，不少孤寡贫穷者朝不保夕。于成龙的保甲法派上了新的用场。他以保甲为根据，命令本户量口周济；若是本户贫乏不能周济，令乡保设法赈救；若乡保贫乏不能赈救，报官设法赈救；若是户首乡保坐视其死，隐忍不报，一旦查出，定偿命不饶。如此一来，一家有难，八家支持；若是八家也有难，就汇报给于成龙。因为饿死一民就要偿命，所以乡保户首都不敢渎职。
大凡饥民，都有户籍，令户长稽查，合族化米，赡养无食之民；若是没有户籍，则责令甲长稽查报知乡约、保长和甲长，让他们根据区内饥民多寡，合一区烟民布施搭救。上户人节省酒肉，中户人家减少饮食，集日用口腹之余，救户族邻佑之死亡。区内施化力不能给，即据害报明，公议设法官助。如果区内保长、甲长坐视饥饿不报知，以致饥民饿死者，保长、甲长照见死不救科治罪；乡保、甲长力不能济，忍心不报者，各加倍罚粮罚银，以赈济灾民。光绪《麻城县志》中就有这样的记载：
丁应运。康熙间大饥，戎府于清端公赈民至石河，数日粟尽，民犹襁负哀号。公无策。运慨然助谷数百担。后公升黄州太守，遣吏赉赐肩舆及“二千石”三字额，并赠联云：“两斗粟青衿仗义，二千石黄盖增荣。”
“青衿”系秀才，可由官府补贴一点费用（廪食），“二斗粟”和“青衿”是指乡绅丁应运的身份；“二千石”是于成龙自指，因为汉制太守品秩二千石，故“二千石”成了太守的代称。
这种以族中之布施养族中之饥民，区内之布施救区内之饥民的自救办法，既方便又实际，在国力空乏的当时，实在是一个行之有效而难得的土政策。
在利用保甲法赈济的同时，他还十分注重舆论作用。多次劝谕百姓安于天命，得过且过，“安分救儿女，空中自有天。莫生狂荡想，官府自周全。万一无生路，清贫赴九泉。”在《赈饥募引》中说：“报效持钵之小技，暂为燃眉之急图。共乞洪慈，大施恻隐，几石几斗几升可救一时之妇哭儿啼；或银或米或钱，立苏片刻之饥。”他所散发的歌谣和劝谕文无不表现出浓厚的爱民色彩。
为了稳定人心，使民不致因饥寒交迫铤而走险，他四出奔走，发布告谕。《慰谕黄安饥民》（《政书》卷2）中这样说：“照得府属灾荒，惟黄安最甚，本府念切，已具详请蠲请赈。又，今日槽铡草米等项，本府一一代为备办，解送尔民，既免军需，可以安枕。又思尔民饥荒，除出示劝谕乡保户首设法赈济外，本府随借银两，买备谷石，俟隆冬给发，断不令尔等饿死，我民可以放心无忧。”
在那战火连天、人心动荡的岁月里，于成龙重纾民力，与民咸休。他在给同僚的信中多次申明：“今日之事，人心思乱，惟在静以镇之而已，不必与愚民较短长，我心不动则浮言自息。”为了安定民心而稳固社会秩序，他严饬属邑禁火耗，杜绝私派馈送，民间有冤诉者，立即审案处理，不得滞留。在办案方面，于成龙明确规定：立案审案离府近的州县以半月为期，离府远的州县以二十日为期。如果过期不解，即以旷职之罪纠治。给自己的规定是：上批或下属州县解到犯人，三日之内不审，或已审之案十日内不上详报者，自己甘认旷职之罪。
康熙十五年（1676），又是水灾旱灾，讹言又起。于成龙认为“人心易摇，且以静示静，镇定民心”。于是在府城汉川门外的赤鼻矶上修建赤壁亭榭，召集文武僚吏，品酒评诗，展赋风雅。黄州士民相与庆曰：“我公如此，吾属何忧。”民心遂定，由此可见于成龙在黄州之举足轻重了。
于成龙每日在赤壁亭上赋风雅以镇民心，同时暗中派出捕役，搜捕造谣者、散布伪札者，用密计捕捉了吴三桂派往黄州的数名说客。从此之后，尽管湖南战火弥漫，势逼湖北，黄州却偏安一方，这不能不说于成龙治民有方，且才干卓越。
于成龙在黄州为清朝立下了丰功伟绩，然而他并不居功自傲，亦不贪功恋官。康熙十五年（1676），于成龙已六十岁，背井离乡已一十六年，不带家眷，亦未回乡。虽多次上书乞归，终因深得张朝珍器重，又在多事之秋，用人之际，所以一直未能如愿。十月，于成龙养母李氏病故。噩耗传来，顿时悲号顿足，六十老叟，竟如少年般哭泣。养母故去，对于成龙来说是很好的一个辞官机会，他含泪草成《申蔡制台张抚台乞归守制详》（《政书》卷4）：
成龙谫劣庸才，荷恩提拔，感戴终身。兹有下情，泣血上陈。念成龙父兄先逝，上无叔伯，终鲜兄弟，茕茕一身。奉侍慈帏，希冀升斗，以禄养亲。不料任粤住蜀，远隔天涯；及佐黄郡，又苦卑湿，不敢迎养。身羁一官，心悬白云，十六年来，乌鸟之私未尚刻忘。康熙十三年，成龙有终养之请，屡词告休，实为高堂母老，中怀隐忧，不得不为之乞怜也。今忽焉永诀，母北子南，幽明殊隔，讣音驰至，肝肠惨裂，魂魄黯销，号天抢地，欲见无由，追悔无及。痛成龙母老不能养，母死不能殓！目前柩停中堂，亡灵无依，倚门倚阊，死后望儿，倍切生前。成龙他乡孤哀，腐心疾首，泪已血凝，形已骨立，惟奔丧营葬，触棺瓣踊，少释终天之恨，此成龙痛哭呼号而不得不为之乞怜也。伏乞宪恩垂怜他乡孤哀，母死无治丧之子，施浩荡之仁慈，积万代之阴骘，循例题达，归家守制。亡母有灵，叩感地下；成龙倘邀，余生焚香顶祝。即与母偕逝，衔环结草，永矢世世矣。
张朝珍深知于成龙在黄州是举足轻重的人物，不想放行。恰好黄州数百士民步行到武昌洪山向他哭谏，要求于成龙留守黄州，张朝珍考虑再三，建议于成龙夺情任职。为了遥慰亡母，他身穿素服，登上黄州城南的青云塔，烧文祭母。黄州青云塔高七层，呈正八棱形，石灰岩建筑，远望纯白无瑕。塔顶斜生一树，树干粗短，叶绿欲滴，蔚为壮观，实属奇景。当地有人传言，于成龙当年在青云塔上祭母，泪洒塔顶，汪汪闪闪，久旱不枯。后一凤鸟衔树子飞经塔顶，惊奇地叫了一声，树籽落在塔顶，遂长出这棵奇树。
于成龙夺情留任，养母不能入葬，灵柩一直停放到康熙二十一年（1682）才得以入土。他节哀克情，顾全大局，实属可歌可泣。然而，黄州亦有人说他贪恋功名而六亲不认，于成龙为此曾做一首五言古诗《自叹》（《政书》卷8）：
病本浑无力，闲愁谁与怜？
炎凉悲二竖，狐域寄丹田。
不愿上方剑，但持感应篇。
小官缺养母，浮誉恼群贤。
久欲归林卧，岂为升斗牵。
菩提乖慈训，真觉孽难湔。
廉隅虽寻丈，光明既佛仙。
隐微多玷垢，冥府不矜全。
只谓堪瞒众，谁知能哄天。
晨夕朝太岳，思结再生缘。
轻脱敝衣裘，予将撇俗缠。
秋风吹细雨，霹雳护青莲。
对于黄州乱民，他不愿持上方剑——皇帝赐给他的权力来镇压，而是坚持用感应篇——其精诚来感动百姓。虽然身居陋室，但他襟怀坦白，光明磊落。人心好欺，青天难哄，他誓不昧“天理良心”四字。对于一切世俗的浮誉和无聊的讥讽，他像脱去破衣一般轻轻地甩掉。
三谥清端
康熙二十三年（1684）三月，江苏巡抚余国柱入为左都御史，安徽巡抚涂国相升任湖广总督。康熙不仅指令于成龙兼理江苏安徽的巡抚事务，而且命令他振作精神，巡视东海防务。于成龙强打精神，扶病出巡。经过一个多月的海上周折，回到江宁署院后，于成龙便疟疾大作，数日不食，呕吐不止。
四月十八日晨，于成龙挣扎着爬起准备理事，但已是弥留之际的回光返照。见此情景，一批幕僚齐跪堂下，抽泣不已。于成龙正襟危坐，流着眼泪重复他的《示亲民官六戒》：“勤抚恤，慎刑法；绝贿赂，杜私派；严征收，崇节俭。”（《政书》卷6）众幕僚垂泪颔首。
于成龙又叮咛将自己的尸骨运回故乡，丧事必须从简。他还想再叮嘱善后之事，但已口僵不能言，端坐而逝，享年六十八岁。
关于于成龙死时的情形，时人多有记载。
陈廷敬的《于清端公传》记载：“至夜漏四十刻，坐不欹倚，颜色如生……将军都统僚吏来至寝室，只见床头敝筒中唯绨袍一袭，靴带二条，堂后瓦瓮米数斗，盐豉数器而已，无不恸哭失声。”
丛澍的《于清端公小传》记载：“公薨之日，举国若丧妣。男妇童叟皆入公署，见孤灯茕茕，犹然在案，周身只见布被一床而已，清俭之节固千古所未有也。”
毛际可的《于清端公传》中记载：“端坐而逝，床头唯绨袍一箧，盐豉数器而已。”
熊赐履的《清端北冥于公墓志铭》中记载：“公之殁也，予以一瓣香哭公于丧。次瞻几筵，唯青灯布缦冷落菜羹而已。问其箧笥，则故衣破靴外无他物。盖公之素履卓绝类如此。”
于成龙一生为国家和人民办了许多大事，自己却过着这样清苦的生活，真是前无古人，后无来者，见者无不落泪。
康熙得知于成龙病逝，十分痛惜，对文武大臣说：“朕失臂矣。”是年七月，学士锡住勘海回朝，康熙帝问起于成龙任官声绩，锡住称虽清廉，“或为属员欺弊。”康熙帝驳道：“此与成龙不合者适为此言耳。居官如成龙者有几？”
十一月，康熙帝南巡至江宁，勉励江宁知府小于成龙“务效前总督于成龙正直洁清”。康熙帝对清廉之官始终以恩礼相待，吏治为之一变。他在江宁见百姓和官员仍在祭奠于成龙，深受感动。他召见的官员无不禀奏于成龙清操惠政，深孚众望。当革职在家的熊赐履奏禀于成龙临死前的情状时，康熙不禁垂泪叹息。回京后，康熙面谕内阁九卿詹事科道：“朕巡行大江南北，遍咨民瘼，稽核贪官，廉访吏治，博采众议，或称于成龙居官清正，实古今第一廉吏，尔部会议恤典具奏。”九卿詹事科道会议之后奏称：“于成龙宜沛隆恩以励臣节，应加太子太保，荫一子入监，谥清端。”康熙准之。
谥号是后人根据死者生前的事迹给死者评定的一种称号，有褒贬之意。“谥者，行之迹。”是以大行受大名，细行受细名；行出于己，名生于人。于成龙谥号“清端”，含义是清官第一。在清代七百名吏中，仅有两人获“清端”谥号，另一名是广东的陈滨，亦是康熙之臣。
康熙二十四年（1685）二月十五日，康熙给于成龙书写碑文：
朕读《周官》，六计廉吏，曰：“廉善、廉能、廉敬、廉正、廉法、廉辨”，吏道厥唯廉重哉。朕用是审观臣僚，有真能廉者，则委以重寄，锡以殊恩，所以示人臣之标准也。尔于成龙秉心朴直，莅事忠勤，而考其生平，廉为尤善，以故累加特擢，皆朕亲裁。盖拔自庶官之中，洊受节钺之任，尔能坚守夙操，无间初终。古人脱粟布被，或者嫌于矫伪；尔所谓廉，本于至诚。闻尔之风，可以兴起；乃不憗遗，忽焉奄逝。日者省方察吏，南及江表，采风谣于草野，见道路之讴思。思清德在人，于今不泯。唯尔之廉，天下所知。朕俯合舆情，载褒劲节，既考名副实，谥曰“清端”，葬祭以礼；又晋之崇秩，赐予有加，恩恤尔子。呜呼，人臣行己服官事主之道，尔可谓有始有卒者矣，顾不可以风世也欤？（据王若东等著《一代廉吏于成龙传》和王永泰著《清官于成龙》汇校）碑文并没有叙述于成龙的生平事迹，而是简括了于成龙一生的特点——廉，并阐述了自己之所以重视于成龙的原因和意义。从这段碑文中可以看出，于成龙之所以能在五六年的时间里，由一名普通知府直上于封疆重臣督抚之列，正是顺应了康熙推行廉政的潮流。当然这并不能说于成龙乘流而上，平步青云。于成龙所走过的每一步都是沉重的、踏实的，在历史道路上留下了深深的足迹。
康熙二十四年（1685）四月二十六日，康熙派遣山西汾州知府张奇抱到于成龙陵墓宣读了两道祭文。第一道祭文陈述了于成龙任职的简历，特别提到于成龙任两江总督时“大革贪风，励己则寒同儒素”的事迹，对于成龙一生两袖清风大发感慨：“呜呼，萧然官舍，竟担石之无存，焕矣！”字里行间流露出对一名宠臣的惋惜和哀悼。第二道祭文说：“唯尔苦节克贞，鞠躬非懈，真一介之弗取，越数官而弥坚。奄忽云逝，能无悯焉！呜呼，清风未远，长存表德之恩……”
在此后，康熙对于成龙一直念念不忘，将于成龙奉为廉洁奉公的典范，时时号召大臣向于成龙学习。
康熙三十九年（1700）十二月二十四日，于成龙长子廷冀病死，廷冀之子、浙江按察使于准丁忧在乡。康熙四十二年（1703）九月，于准报阕补班，康熙召见，指着于准对御前大臣说“此老总督之孙也”，并对于准鼓励一番，将于准特准旨为四川布政使。十月，康熙西狩驻太原，又一次召见于准，问于成龙坟墓离太原有多远。听于准说祖坟在太原二百七十里以外时，才打消了亲自去扫墓的念头。他题写了一块“高行清粹”的匾额，赐给于清端，对其作了极高的评价。后来，于准曾官至贵州巡抚、江苏巡抚，其子于大梃等人亦有官职。
于成龙逝世后，先入太原三立祠，后入北京贤良祠。“三立”指“立德、立功、立言”。三立祠中祀有颜杰、司马光、杨继宗、傅山等历史名人。
康熙四十六年（1707）五月，康熙又一次南巡，见事隔二十几年后江南士民仍爱戴于成龙，并在民间和官场流传着不少关于他的清官故事，因此又书写了一副对联：“历仕甘棠随地荫，两江清节至今传。”
于成龙死后，军民画像祭祀，江宁、苏州、黄州人民争为立祠，黄州清端祠中有近人朱峙山所题联：“惟先忧乃能后乐，不爱钱即是好官。”
