十一月，他回到京口，听见到处是哭声，他问周围的人，人们对他说道：“全是代陂之战中阵亡者的家属。”
褚裒更加羞愧自恨。
同年十二月初七（年月日），褚裒去世，享年四十七岁，远近的人听说后都伤心叹息，吏人士人哀悼思慕他。
朝廷追赠侍中、太傅，本官如旧，谥号元穆。
永和六年（年），殷浩被任命为中军将军、假节、都督扬豫徐兖青五州诸军事。
殷浩接受朝廷之命，以收复中原为己任。
另一方面，桓温也上表北伐，但没有回音。
桓温知道朝廷是想用殷浩抗衡自己，因而十分忿恨，但同时桓温也熟知殷浩为人，故不为此感到害怕。
后桓温因屡次请求北伐不果，于是在永和七年十二月十一日日（年月日）上表后自行率领约五万兵众东下武昌。
此举令朝廷十分恐惧，殷浩也因此而打算离职以避桓温，但被王彪之劝阻。
永和年（年），殷浩上表北伐，进攻许昌、洛阳。
殷浩出发前，坠落马下，当时的人都认为不吉利。
不久命淮南太守陈逵、兖州刺史蔡裔为前锋，安西将军谢尚和北中郎将荀羡为督统，并开长江以西一千多顷水田作为军粮储备。
但殷浩到许昌时，因谢尚不能安抚新归降的张遇，张遇于是在许昌据城叛变，并派兵进据洛阳和进攻晋军所据的仓垣，亦令殷浩军受阻。
谢尚和新降的姚襄于是一同进攻张遇，但谢尚大败，退回淮南。
殷浩知道谢尚兵败后亦退还并驻扎寿阳，殷浩暗中利诱苻健的大臣梁安、雷弱儿等，使他们刺杀苻健，许诺事成后将关右之地赐给他们。
当初，降将魏脱死后，其弟魏憬代领官职。
姚襄杀害魏憬，兼并他的部众。
殷浩十分反感，派龙骧将军刘启镇守谯郡，将姚襄迁到梁州。
不久，魏氏子弟往来于寿阳，姚襄愈加猜疑惧怕。
又过不久，姚襄有些部下想归顺殷浩，被姚襄所诛杀，殷浩于是谋划除掉姚襄。
适逢苻健杀害大臣，苻健之侄苻眉从洛阳西逃，殷浩以为梁安等人刺杀苻健成功，请求进驻洛阳，修复陵园。
永和九年（年）冬天，殷浩率领七万大军大举北伐，命姚襄为前驱，冠军将军刘洽镇守鹿台，建武将军刘遁镇守仓垣，又请求解除他扬州刺史的职务，专镇洛阳，朝廷不许。
殷浩到许昌后，正遇张遇反叛，谢尚又遭大败，只好退回寿阳。
之后再度进军，驻扎在山桑，恰逢姚襄反叛，殷浩胆怯，丢下辎重，退守谯郡，器械军粮尽为姚襄所夺，士卒死伤、叛变者不计其数。
殷浩派刘启、王彬之在山桑攻打姚襄，都被姚襄所杀。
桓温素来忌恨殷浩，听说殷浩北伐失败，便上疏指责殷浩说道：“中军将军殷浩深受朝廷恩典，身居要职，朝廷对他宠信不疑，两次让他参与朝政，而他却不能恪守职分，擅自离任或超越他人职守，随心所欲。前司徒蔡谟，为人纯朴，坚持正义，位居台辅，为先帝之师、朝廷之元老，年至七十高龄，以礼请求隐退，即使天子临轩征召仍执意辞官，虽然不合朝廷旨意，但正足以显明谦让之风，弘扬优贤之礼。而殷浩无中生有，狡说诡辩，扰乱朝廷视听，致使蔡公险遭杀害。自羯胡衰亡以来，中原大地，群凶残杀不休，百姓涂炭，人人企盼官军去拯救他们。殷浩受命北伐，却无报仇雪耻之志，树立朋党，制造事端，终使仇敌大肆杀戮，奸逆蜂涌而起，华夏大地纷扰动乱，百姓困苦不堪。殷浩惧怕朝廷怪罪，为求恕罪，声张进讨敌寇。驻兵寿阳，却长期按兵不动，竭尽国库的资财、五州的人力，纠合无赖之徒，以求自强，封赏无定规，猜疑陷害无所顾忌。所以范丰之流反叛于芍陂，奇德、龙会作乱于身旁。羌帅姚襄率部归顺朝廷，将母弟送入京城做人质，殷浩不但不予以安抚，使之为朝廷效忠，反而设计陷害，两次派刺客行刺姚襄，被姚襄发觉。姚襄迫于无奈背叛朝廷。祸乱丛生，自殷浩开始。又不能乘势扫荡敌寇，放纵无能小人，施行残害奸计，致使朝廷大军惨败于梁国，自身狼狈于山桑，舟车焚烧，辎重丢弃一空，三军粮草，反而资助了敌寇，精甲利器，更是武装了盗贼。天怒人怨，成为大众所唾弃的对象，所带来的灾祸，将危及国家社稷，这正是臣之所以起居失措、惶恐不安的缘故。只有主持正义，才能训导人民，只有赏罚分明，才能众心同一。臣恭请陛下上追唐尧时代放逐的法典，下鉴春秋时代目中无君的事例。倘若陛下宽宏大量，不忍心诛杀殷浩，也应将他放逐到边远荒芜之地。这样做虽抵消不了殷浩弥天的罪责，但可以使后人引以为诫。”
晋穆帝在位期间东晋朝廷先后令褚裒、殷浩北伐，均未成功。
永和十年（4年），太尉、征西将军桓温北伐关中，大败前秦。
桓温还消灭了在四川立国的成汉，并且于永和十二年（年）夺回洛阳，虽然不久就因为粮运不继而撤退，东晋的版图仍然有所扩大。
永和十年（4年），朝廷因桓温上表列举殷浩的罪行，逼不得已，于是将殷浩废为平民，并将他流放到东阳郡信安县。
殷浩年少时与桓温齐名，而两人却暗中争强斗胜。
桓温曾经问殷浩道：“你我相比，如何？”
殷浩回道：“我与你交往非只一日，如果让我在你我之间选择的话，我宁愿做我自己。”
桓温以豪杰自许，经常轻视殷浩，殷浩丝毫不惧怕桓温。
到殷浩废为平民后，桓温对别人说道：“年幼时，我与殷浩共骑竹马，我抛弃离开，殷浩就上前拣取，因此殷浩不及我。”
桓温又对郗超说道：“殷浩品格高洁，能言会道，假使让他担任尚书令和仆射，足以成为朝廷百官的楷模，朝廷用才不当，以致有今日。”
殷浩虽然被罢黜流放，但没有说过半句无怨言，神情坦然，一切听天由命，依旧不废谈道咏诗，即使自家亲人也看不出他有什么被流放的悲伤。
殷浩只是整天用手在空中写“咄咄怪事”四个大字而已。
殷浩的外甥韩伯，素来受到殷浩的赏识和喜欢，他随殷浩同到流放之地，一年后回京，殷浩送到河边，吟咏曹颜远的诗道：“富贵他人合，贫贱亲戚离。”
殷浩吟罢竟然抽泣哽咽，潸然泪下。
后来桓温打算让殷浩担任尚书令，派人送信给殷浩，殷浩欣然答应。
摊开纸张准备写回信，但殷浩太重视这封信，为避免其中有错误而摊开纸张又闭合，再开再合，如此往复几十次，最终给桓温回了一封空白信函，使得桓温大失所望，从此两人绝交。
永和十二年（年），殷浩去世。
后来将改葬殷浩时，殷浩原来的属吏顾悦之上疏为他辩冤说道：“原中军将军、扬州刺史殷浩沉厚纯良，学识博大，风韵高雅，声望盖过当时之人。两度任职，肃清万里，功勋昭著，圣朝敬佩嘉赏，于是授以北伐中原将帅之任。帅旗竖立后，出镇寿阳，驱逐豺狼，剪除荆棘，网罗人才，开荒屯田，饱经风雨，与奴仆一样勤苦。仰仗皇威，群丑改过，进军河、洛，修复陵墓。不测的事变突然发生，功亏一篑，忠诚的心愿因此而破灭。遭废黜之后，自处于荒凉僻远之处，终身闭门不出，与世隔绝，可谓克己复礼，窘困而无怨的人。探究殷浩所犯的罪过，也是失败中的常事，不应当是长时间谴责的罪行。论其名德之高，论其悔过自责之诚，怎么能不加体恤，而使他受如此冤屈呢？现在墓地已成，墓道已开，悬棺而葬，礼仪与平民相同，有横死之名，没有伸冤之期，感叹前世三良，老天不公正。若是颁发明诏，表扬善者，尊崇恢复他的原官，昭明久远的暗昧，那么国家就有威恩兼济的美誉，如果死者可以复生也没有遗憾。”
顾悦之疏议奏上后，朝廷诏令追复殷浩原官。
<