爱别人、尊敬别人被认为是伦理道德的最高境界，而且，《孝经》中认为“爱”是最高的道德。其实，爱别人就是爱自己；尊敬别人就是尊敬自己。
晋武帝司马炎称帝以后，有灭吴的打算。他任命羊祜为都督，治理荆州（今湖北省襄樊市）军事，统率大兵镇守，与东吴隔江相望。
羊祜到了南方后，没有急于加强军事措施，而是实行怀柔政策，开设学校，安抚远近地区，很快得到江汉一带百姓的拥护。他还对吴国人开诚布公，凡是来投降的人，想要离开荆州，决不阻拦，去哪儿都可以。吴国石城的守备距离襄阳七百多里，常常来侵扰，羊祜用计使吴国撤消了石城的守备，使两地能够和平共处。这样他就可以减少一半戌兵，分出来去开垦了八百余顷田地，大获收益。
羊祜刚到的时候，军队没有百日的存粮，经过他的屯兵开垦，居然积蓄了可供十年之用的储粮。后来，皇帝下命令撤销江北都督，设置南中郎将，把他们所属的在汉东和江夏的各军都归羊祜统领。
羊祜后来进一步占据险要地区，建造了五座城，收取大批肥沃的土地，夺得了吴国人的资产，石城以西，尽归晋国所有。从此，吴国来投降的人络绎不绝。
在这种情况下，他还是没有急于进攻东吴，羊祜更加提倡实施恩德信义，用怀柔政策来笼络刚刚归附的人。
羊祜每次和吴军交战，总是先约定好日期才开战，不搞突然袭击。有的将帅想提出诡谲奸诈的计策，羊祜就不断地给他们灌酒，使他们无法开口。有人抓到吴国的两个人做俘虏，羊祜又把他们遣送回家。后来吴国的将领夏详等人来投降，这两个人的父亲也率领他们的属下、同伴一起来。吴国的将领陈尚、潘景带兵进犯，羊祜追赶并杀死了他们，但又称赞、宣扬他们的气节，厚加殡殓。陈尚、潘景的子弟来迎丧，羊祜还举行隆重的礼节把他们送回家。吴国的将领邓香到夏口进犯、抢掠，羊祜悬赏活捉邓香，捉到后却又把他放回去。邓香因此非常感激，就率领他的部下前来投降。
羊祜严厉约束自己的军队，他的军队出行，经过吴国的地段，收割地里的稻谷作为粮食，都计算好收割稻谷的数量，用绢偿还。每次会集部队在江沔一带游猎时，一般总是在晋国境内，不许军队进入吴国境内。如果禽兽为吴国人所伤而后被晋兵所得，他就让人送还给吴国人。于是，吴国人都对他心悦诚服，尊称他为羊公，而不呼他的名字。
羊祜和吴国的将领陆抗相对垒。两军使者常有来往。
陆抗十分称赞羊祜的德行和度量，认为即使乐毅、诸葛亮也不能与他相比。陆抗有次生病，羊祜了解了他的病情后，就派人给他送药去。陆抗高兴地服下，一点儿也没疑心。有人怕药里有毒，进行劝阻，陆抗批评说：“羊祜哪里是个会害人的人！”
陆抗自然也清楚羊祜实行的是怀柔政策。因此，他常常告诫他的部下：“如果羊祜他们专施恩德，而我们专用暴力，我们就会不战自败啊！现在只要各保自己的疆界就可以了，不要去追求小利。”吴国的皇帝孙皓听说吴晋边境和好，便责问陆抗。陆抗回答说：“一个小镇、小乡，尚且不可以没有信义，何况泱泱大国！我如果不这么做，就只会使羊祜的名声更大，对他毫无损伤。”可以说，他们两人的才智是不相上下的。
羊祜在对吴国军民实行怀柔政策的同时，修缮盔甲，训练士兵，做了广泛的军事准备。他上书给晋武帝司马炎说，平定蜀地已经十三年了，现在吴国的孙皓暴虐无道，吴国的百姓困苦不堪，而我们晋军的力量比过去更加强大，应该抓住时机，平定东吴，统一天下，使天下安宁，人民和好。他对灭吴的战略战术也提出了许多精辟的意见。晋武帝非常赞同他的意见。后来羊祜卧病，回到洛阳。他又抱病向晋武帝当而陈述伐吴大计。此后，晋武帝还派中书令张华去询问他的筹划和策略。
羊祜病情越来越重，他便推举杜预接替自己。不久病逝，享年五十八岁。当时天气寒冷，晋武帝穿着丧服悲伤地哭泣，泪水流到鬓须上，都结了冰。荆州人在集市上听到羊祜病逝的消息，没有一个不号啕痛哭的，集市贸易因而停止，哭声连成一片。吴国守边的将领知道他已经去世，也都伤心地为他哭泣。
羊祜死后两年，吴国被平定。大家都为皇帝庆贺。晋武帝拿着酒杯流着眼泪说：“这哪里是我的功劳，都是羊祜的功劳啊！”
吴国并没有因羊祜的仁德与怀柔而免于被吞并的命运，晋国也没有因羊祜的仁德与怀柔而长盛不衰，战争似乎也没有因羊祜的仁德与怀柔而有所减少。然而，羊祜的仁德与怀柔却得到了人民的爱戴。我们应该看到的是，羊祜的行为代表了人类的一种文化理想，这种理想就是人类应该和平与友爱。人类如果失去了这两根基本的精神支柱，其前途就只有灭亡。
