劉毅等繼續行軍，順利攻下巴陵，並斬殺了王稚徽。桓謙得信後向桓振言道“晉軍已近，我來守城，你速速帶兵前去抵擋，我方軍士素服你之武勇，一定能夠破敵。”桓振一直就看不起桓謙，認爲其缺乏用兵智略，不聽從他的建議，說道“江陵乃我方軍士的家鄉根本所在，我等固守江陵城，兵士定能死戰，不宜遠離城池求戰。”桓謙固請不已，桓振便派他帶兵千餘去馬頭防守，桓蔚帶兵千餘駐守龍泉。何無忌劉毅此時兵力已有萬餘，輕鬆擊破這兩處據點，但桓謙與桓蔚卻得以逃走。
何無忌欲乘勝直趨江陵，劉道規勸阻道“兵法進退有時，不可數進。我兵接連戰鬥，疲勞已甚。桓氏世居西楚，羣輩爲家鄉皆願出死力，那桓振又勇冠三軍。我們此時需息兵養銳，緩圖進取，不憂不克。”無忌言道“此言並無道理。我吳地精兵連戰皆捷，正應乘此連勝之勢一舉攻克，更何況如今我衆敵寡，敗敵甚易。”無忌不聽道規之言，而劉毅也贊成無忌，於是就帶兵徑行前往江陵。
兩軍在靈溪對陣。桓振親將，率騎直衝何無忌中堅，揮戟掃蕩，所向披靡。無忌等靠着優勢兵力頑強抵擋。正自激戰之際，又有一支部隊從晉軍斜後方插了進來，是桓振事先安排好的馮該率領的數百騎兵隊。這下晉軍在夾擊下開始不支，敗下陣來。無忌等開始後退，桓振縱馬直追無忌，眼看着戟尖就要挨着了。幸好劉道規發現危情後及時趕來，一槍撥開，救了無忌，力戰桓振。無忌也掉轉馬頭幫助道規。桓振力戰二將竟然絲毫不落下風。道規心想如今不是戀戰之時，向無忌使了個眼色，兩人同時出槍一左一右夾刺桓振，桓振慌忙左隔右擋。兩人趁此回馬便逃，桓振也不敢追。無忌、道規與劉毅收合餘軍，整衆而退。此戰晉軍死亡人數有一千多人。晉軍退至尋陽城，再做下一步打算。
再說柳約之與羅述進軍至枝江，聽聞無忌敗信，知江陵城難以力取，便想去詐降，趁機刺殺桓振。於是他們便派出一使者去桓振那裡，說柳約之慾帶軍降於桓振，桓振一口答應了下來。使者走後，桓謙說到“受降如受敵。我看那使者神色慌張，怕是有詐。”桓振回道“我也有所懷疑。怕他做甚，我帶軍前去殺了他們便是”桓謙說“若興師動衆的話，他們知詐降不成定然會退走，我們將一無所獲。依我之見，我們可約定一地點相見，我們軍中正巧有一人相貌跟你很像，可使其冒充你前去赴約。我們在附近設伏。如若有變，立即擒殺。”“叔父此計甚妙”。於是桓振就派去使者去柳約之軍中定約。
第二日清晨，雙方各帶十數名兵士前往赴約。見面後，柳約之言道“久仰將軍威名，今日得見，甚慰平生。敢請將軍前往軍營一觀。”當下三騎並行，柳約之，羅述突然抽劍，交刺其胸背，假桓振倒下。假桓振所帶十餘名兵士匆忙展開戰鬥，這時埋伏於近處的桓振兵士聽聞兵刃交接聲，迅速前往，將柳約之等團團圍住。不到一刻鐘的時間，柳約之與羅述均被桓振斬殺。桓振心想不如趁此挫殺敵軍一陣，就帶着部隊前往尋戰。柳約之所留統軍時延祖見他們久久不來，心知有變，又見遠方塵土大起，心知不妙，迅速整衆而退，桓振追之不及。
柳約之雖然失敗，不過不久後，毛璩卻攻下了漢中，將桓希斬首。南陽太守魯宗之也攻克了桓蔚鎮守的襄陽，桓蔚逃走。
何無忌劉道規等於尋陽城修船聚糧，秣馬厲兵，數月後士氣復振，劉裕從兄劉懷肅亦來相助，劉懷肅即爲劉裕乳母之子。十月，大軍再次西上，進至夏口。桓振派馮該守東岸偃月壘，桓仙客守西岸魯山城，孟山圖領水軍出戰。三軍衆合萬人，水陸相援。劉毅與敵兵力相當，將士銳氣正鋒，即刻決戰。劉毅進攻魯山城，道規與劉懷肅進攻偃月壘，無忌水戰。激戰大半個上午，正午時分三處敵軍盡皆潰敗，馮該逃走，孟山圖與桓仙客被生擒。
405年春正月，劉毅諸軍進至馬頭，直逼江陵。桓氏地盤至此所剩無幾。桓振着了慌，派出使者帶書信去請降，信中寫到“臣桓振將奉送天子，桓氏世居西楚，還請賜江州荊州地予桓氏鎮守。”可是劉毅不答應，對使者言道“歸語桓振，見機的話，自己帶天子前來謝罪，或可免除一死。不然的話，桓氏赤族便在眼前！”使者回報後桓振大怒，準備決一死戰。當時魯宗之亦兵臨江陵，桓振決定先出城擊破魯宗之，留桓謙與馮該守城。桓謙勸阻道“對付劉毅大軍纔是重中之重，你若去戰魯宗之，劉毅來到怎麼辦？”桓振言道“魯宗之已近，劉毅尚未到達。我先去破了宗之，回來再戰劉毅不遲。若讓他們兩軍會和，更難擊敗。”於是桓振領兵去戰宗之。
此時劉毅大軍已到城下，馮該想出城迎戰，桓謙不許“我們需要固守城池，等桓振回來。若出城戰敗，大勢去矣。”馮該不聽，自帶己衆出城迎戰，一戰而敗，全軍覆沒，自己和兒子馮山靖都被劉懷肅於陣挑殺。劉毅大軍圍城急攻，桓謙棄城而逃，後與桓蔚、何澹之等投奔後秦，江陵城重新歸晉。
先前劉敬宣聽聞劉裕京口起兵後便與司馬休之從南燕回來投奔劉裕。桑落洲之戰時，劉敬宣到達歷陽，正值桓玄侄子桓歆前來攻擊歷陽城，敬宣便與劉鍾、諸葛長民出擊敗之，敬宣陣斬桓歆大將楊秋。此時敬宣與司馬休之也在軍中，司馬德宗認爲江陵重鎮，想讓自己族人來守，於是便讓司馬休之做了荊州刺史，駐守江陵，劉毅與道規返至夏口駐軍，而無忌則奉帝東還建康。