做好出击准备的清军可不会再跟郑成功客套了。清军统帅郎廷佐、喀喀木心底雪亮，要集中兵力击破郑军主力，必须先歼灭仪凤门、钟阜门外势单力孤的郑军前锋镇、中冲镇，以免和郑军主力交战时分散清军为数不多的兵力。7月23日，清军派出满洲八旗兵阻挡郑军来援，总兵梁化凤率领绿营兵从仪凤门、钟阜门、小东门杀出，清军摆开火炮轰击郑军的营地，掩护大队人马直冲郑军营盘，郑军从木栅内开炮，投掷火罐拼命阻击清军的进攻，但在清军一浪高过一浪的猛攻下郑军救援不及，兵力单薄的前锋镇、中冲镇全军覆没，余新也被抓去做了阶下囚。这一天对清军来说可谓双喜临门，不仅歼灭了郑军两个镇大挫了郑军的锐气，而且又有五百八旗兵来援，军心更加振奋。
夺取了城外阵地后，清军出城驻扎，准备倾巢出动和郑军决一死战。郑成功意识到了战况的凶险，果断放弃攻城将全军收缩于观音山一带，在山四周扎下营盘。在山下的是战斗力最强的左武卫和左虎卫镇，中提督甘辉和五军戎政张英率部埋伏在山谷中，左先锋镇、援剿右镇等部队屯驻在山上，山后大路由后提督万礼和宣毅左镇负责，右提督、宣毅后镇、正兵镇准备由水路包抄清军后路。
郑成功的计划是依托居高临下的有利地形，背靠江边的庞大舰队将城外的清军一举歼灭。然而郑成功又错了，南京是清军的主场，自1645年以来清军在此驻扎十余年之久，非常熟悉当地的地形，郑成功依山部署反倒给了清军千载难逢的胜机。
总督郎廷佐只留下全军十分之一的兵力守城，其余人马由昂邦章京喀喀木和梅勒章京噶褚哈率领，倾巢出动与郑军决战。八旗护军、满洲兵、蒙古兵、八旗汉军、绿营兵共同编队，陆上分为三路，水上另有一路，在黑夜的掩护下迂回到观音山战线的后侧。
7月24日一早，清军全线发起猛攻，正白旗、镶红旗、镶白旗披甲兵攻打观音山东北、正东、东南、正南、西南、西北六面，正白旗护军、正蓝旗蒙古兵、镶蓝旗汉军攻打观音山西面，另从每旗抽一名章京，每牛录抽一名披甲兵攻打观音山北面，水路由管效忠率领满洲八旗兵和绿营兵出击，攻打郑军水师。
山上、山中、山下的郑军被清军分割包围，情况十分危急。更为严重的是在这紧要关头郑军没有郑成功的号令谁也动不了，山上和山下相距过远又无法联系，只能被动挨打。清军抓住战机首先猛攻山上的左先锋镇，在火炮的掩护下清军骑兵下马步战向山上猛攻，三次强攻都被郑军打退，眼见战况不妙，郑成功急忙派出右冲镇、右虎卫镇赶往支援，但两镇还在山路上挣扎的当口，山上守军就已全军覆没了。
山上的郑军被消灭后，在山谷中待命的甘辉、张英两部人马成了瓮中之鳖，清军从山上冲下将两部人马团团围住，虽然郑军仍在拼命奋战，但终究改变不了败局已定的事实，血战中张英中箭身亡，眼看清军张弓搭箭，自己也要被射成刺猬，甘辉赶紧向清军士卒大呼我可是甘国公，把我抓去请功大大的有赏，才暂免一死。
山上、山谷中的郑军各部被歼灭，山下的郑军自然也无法幸免，“刀枪不入”的左虎卫镇铁人军奋力抵挡清军怒涛般的攻击，但独木难支终于溃败，士兵们像没头苍蝇似的往江边逃去，但江边并没有可以逃出生天的船只，不少郑军勇士投江而死，侥幸没死的抓着身边够得着的漂浮物浮水而逃。
把守山后大路的后提督万礼和宣毅左镇情况也好不到哪去，他们同样遭到清军的夹攻战至全军覆没，万礼阵亡。另一边从水路出击的清军也如潮水般杀来，焚烧郑军大小船只五百余只，郑军水师遭受了重创。
眼见败局已定，郑成功只得无奈地下令全军撤退，临走前郑成功命令参军户官潘庚钟站在表示统帅所在的皇盖下代他指挥，自己跑向江边准备动用水师包抄清军之后，遏制清军的攻势。但一切都太迟了，歼灭了观音山四周的郑军后，清军各部向郑成功的指挥所杀来，潘庚钟也力战阵亡。郑军不愧是久经沙场的百战之师，虽败不乱，面对乘胜追击的清军步骑，正在撤退的郑军余部起初还能按照军鼓的节拍收兵，在清军的尾追下终于全军大溃，剩下的战斗变成了一边倒的屠杀。
走投无路的郑军士卒没命地向江边跑去，不少人借助木板等漂浮物才得以浮水而逃，在这危急关头左冲镇上前阻击，击沉清军两只船遏制了清军水师的攻势，将数千名郑军士兵搭救上船。但不少跑得慢的郑军士卒就没那么幸运了，全都成了清军的刀下之鬼，滚滚长江成了他们的埋骨地。
至此，观音山之战以清军大获全胜而告终，先后歼灭了郑军前锋镇、中冲镇、援剿右镇、后劲镇、前冲镇、中提督甘辉部、五军戎政张英部、左武卫镇、左虎卫镇、后提督万礼部、宣毅左镇等部队，其他各部想必也有相当程度的损失，按照郑军每镇的兵力计算，郑军战死近2万人，还失去了提督、总兵等高级将领多人，可谓是郑成功生平之中败得最惨的一仗。
郑成功命令水师尽力搭救侥幸逃回的残兵败将，接着船队向长江口退去，之前占领的镇江等地先后被清军夺回。当船队驶至崇明岛时，心有不甘的郑成功决定夺取崇明岛作为再次攻打南京的基地。然而惨败后士气低落，军心涣散的郑军竟奈何守城的三千绿营兵不得，无可奈何的郑成功只好命令船队离开崇明岛返回厦门，轰轰烈烈的北伐之役功亏一篑。