房琯是武则天时期的宰相房融的儿子，靠着父亲的高位，未经科举，“荫补”为官，至潼关失守、天子西“幸”之前，官居同中书门下平章事94。肃宗李亨于灵武即位之后，房琯奉上皇玄宗之命，与左相韦见素、知剑南节度留后崔圆等，由蜀地来到凤翔行在，向肃宗递交玉册。肃宗李亨以其素有重名，倾心相待，一切机要政务，无不与之商议决定。房琯很为自己的才华自负，摆出一副非己而天下别无他人可以主宰的姿态，盛气凌人，其他将军、官员不敢说话，更不敢表示不同意见。房琯以其宰相之尊，自奉高明，选取从未经过战阵的儒生为偏裨副将，请缨出师。其所率大军用两千辆战车组成军阵，与叛贼遭遇于咸阳陈涛斜。敌军又是鼓噪，又是扬尘，使房琯军阵中驾车的牛一头头惊惧、颤栗不已；敌军又抛来一束束点燃的柴草，柴草在风中烈焰熏天，使房琯军阵中的牛与车、兵与牛，霎时都熊熊燃烧成一团，于滚滚浓烟中互相践踏，哭号之声震天撼地，人畜鲜血盈野如河。朝廷四万大军丧命于一旦，残留的不过千把人而已。房琯回朝肉袒请罪，肃宗李亨宽宥了他。
房琯却并不引咎自检，小心供职。在那个君臣忧虑、叛贼猖狂、人心惶惧的时刻，身为宰相，毫无奋发救国之意，依然以其名士作风，不理朝政，简慢国事，常常称病不朝，在家聚集宾客——如不孝不敬、放荡恣肆的谏议大夫李何忌之流，通宵达旦地高谈阔论，清议佛教因果、老子虚无……他还放纵门客琴师董庭兰聚宴嬉戏，借着自己的权势屡屡招权纳贿。
窥视到房琯的志大才疏、惰于政事，窃取他人战功而得以升迁的贺兰进明，靠着巴结杨国忠而执掌剑南节度留后等职的崔圆，以图取钱财、拨弄是非为能事的宦官李辅国之流，刻意向肃宗挑拨道，房琯在蜀曾向玄宗献策，使太子即肃宗李亨与四王——玄宗的另外四个儿子分镇天下，四王领大藩而太子反偏居边鄙，足见房琯忠于上皇而并不忠于陛下。一语刺中了肃宗李亨的心窝，从此厌恶、疏远了房琯。
而当颜真卿以宪部尚书弹劾李何忌之时，房琯却并未察觉肃宗对自己的态度变化，或者察觉了但不以为意，仍硬着头皮袒护李何忌，说他不过一时酒醉，入朝行为失检，当从轻处罚。颜真卿本来与房琯之间有亲朋瓜葛。房琯是颜真卿二兄允南的忘年之交，又与颜真卿夫人韦氏家族中的父辈韦述交情甚深。颜真卿却并不因事涉亲友而姑息，也不因房琯官高权重而怯惧，得知房琯门客董庭兰受贿，即查明真相，据实上表弹劾。房琯得知，入朝向肃宗申诉，希望得到解脱。肃宗听言大怒，厉色呵斥。房琯忧惧、惶恐莫名，回家闭门不敢出，于次年五月被罢相，贬为太子少师。
从叛军控制的长安潜逃至凤翔的前任右卫率府胄曹参军杜甫，肃宗授以谏官左拾遗。杜甫与房琯是布衣之交，上疏说：房琯是武后朝宰相房融的儿子，从小就树立了大志，晚年成为富有真才实学的大儒，具有大臣的才干、风范，当今人们都赞许他，认为他将位至三公宰辅，造福天下百姓。房琯性格的缺点是做事粗疏、简约，又酷爱弹琴。董庭兰是当今很有名的琴师，投奔房琯门下时间不短了。他是一个既贫穷又多病的老年人，依仗着房琯的官位为非作歹，而房琯十分倚重人情，不忍予以处置，以致玷污了自身。接着，杜甫写道：“臣不自度量，叹其功名未垂，而志气挫衄，觊望陛下弃细录大。”95他遗憾房琯应该创造的功绩、应该具有的声名尚未实现，其雄心壮志却被挫伤，寄望肃宗皇上能忽略其不足，取用其才干。杜甫的用心是好的。也许他是从友情出发，也许他是从维护饱读诗书的醇儒出发，也许他觉得当时的朝堂之上别无宰相之才，因而上书为房琯请命。肃宗李亨看了杜甫的“疏”后大发雷霆，认为其言荒诞而不切事理，诏宪部、御史台、大理寺三司推问，欲加以罪。主审者为颜真卿。有人上谏肃宗，杜甫身为谏官，所言不失大体；罪罚杜甫，将断绝言路。这才使杜甫免于推问，却从此被肃宗疏远。
颜真卿作为宪部尚书兼御史大夫，心中所想的是“整肃朝纲”。他光明磊落，忠贞正气，正义、正直，不徇私情，秉公劾治，是无可指责的。而且，推问的结果是“免于推问”。虽然如此，却可能由此而触伤了杜甫。杜甫作诗，多反映时事，常常语及当日贤彦，然只字不提颜真卿；语及书法，杜甫笔下出现多人之名，也不见颜真卿之名。看来，两人虽同朝为官，却没有心灵的沟通。未知对方心胸的开阔豁达，而以一时触动耿耿于怀，岂不遗憾！
当时，肃宗李亨最关心的，莫过于收复东西两京——长安和洛阳。他明白，自己虽然即位登基，但人心多拥护上皇——自己的父亲李隆基，诸王——自己的兄弟中也不乏很有才干的，若不尽快获取收复京城、平灭叛贼之功，很难慑服天下，坐稳龙椅。时在九月，朝廷得到回纥骑兵来援，肃宗喜不自禁，金口玉言，命太子、广平王——元帅李俶与回纥军首领叶护结拜为兄弟，并荒唐地承诺：收复京城之后，土地、士庶归唐，金帛、子女皆归回纥。
李俶与副帅郭子仪，率领朔方军及安西、回纥、大食等汉、番兵马十五万，号称二十万，自凤翔出发。身居“王”位，李俶按规矩不在宫阙内乘马，而其执法于军中的亲信武官——都虞侯管崇嗣，居然无礼傲上，率先上马于宫门之内。颜真卿依据刑宪典章，上奏状弹劾。肃宗也认为管崇嗣行为失礼，却以老将有足疾为由而予以姑息宽容。颜真卿的奏状虽被退回，满朝百官对颜真卿却无不敬畏，一个个自我检点，不敢造次。管崇嗣在此前就曾违反朝纲，背向宫阙而坐，谈笑自若。御史李勉进状弹劾，管崇嗣遂被拘押。肃宗委曲求全，下旨宽恕，却赞叹说：“吾有李勉，始知朝廷尊也。”96 管崇嗣仗恃宠信，居功自傲，践踏朝廷纲纪，屡教而不改。颜真卿不畏其权势，秉公劾奏，不知肃宗是否更“知朝廷尊也”？但却无论如何，应该听到了颜真卿又一次奏响的忠魂正气之曲！
触伤肃宗
广平王李俶与郭子仪等率师二十万，从凤翔出发，东进京师长安。正是秋风萧瑟的季节，大军浩浩荡荡，似秋风扫落叶般，于城西南香积寺附近与贼兵厮杀，洞穿敌垒；贼兵招架不住，弃甲曳兵，逃回长安城中，连夜仓皇东遁而去。李俶、郭子仪所率大军一举收复长安，回纥首领叶护按照肃宗在凤翔的约定，下令回纥军抢掠金银财宝、佳人美女。郭子仪将军得知，涕泪纵横，哭求广平王——元帅李俶，以为长安百姓刚刚为摆脱叛军搜刮、欺诈而嘘了一口气，又要受回纥军肆意糟践，他们何以生息？况且，东都洛阳还在贼手，若回纥军肆意劫掠，停步不前，也必使朝廷官军士气松弛，无心进取。则河东地面，何日得以收复？
李俶认为郭子仪言之有理，于朱雀大街找到了叶护。叶护正骑在马上，回纥将校围在四周，一个个眉飞色舞，眼睛里流淌着贪婪的光，一副副为将要进行的纵情劫掠而喜兴的神色。叶护指点着，向他们划分着各自掳掠财物、妇女的街坊范围。
李俶见了，下马跪倒在叶护面前。
叶护惊诧莫名，急忙弯腰搀扶李俶，问他这是何意。
求将军答应一件事。李俶跪着不肯起来。
