经过邓小平的多次敦促和推动，缔约谈判于1978年7月21日下午在北京继续举行。
在8月1日举行的第九次谈判会议上，中方提出了一个较前有灵活性的方案，显示了缔约的最大诚意和积极态度。
在8月7日的谈判中，日方已同意把“反霸”条款全文写入条约正文，只是提出把这一原则的范围扩大到世界任何地区，以淡化其针对性。同时，日方希望将我方提出的“不是针对第三国”的表述，改为“不影响缔约各方同第三国关系的立场”。邓小平看过简报后，认为日方的表达“很简洁，符合我们的原意”，当即拍板同意。邓小平的这一意见为前方的谈判定了调。
到8月初，在北京的日方谈判人员已经充分相信，中国会在缓和条款语气上做出让步。于是，园田直外相于8月8日启程来到北京。
8月9日上午9时半，黄华和园田直在人民大会堂举行第一轮会谈。黄华外长重申：我们只能在《中日联合声明》的基础上发展而不能倒退，更不能削弱它。
下午，中日外长第二轮会谈举行。黄华肯定了园田外相对中日缔约的热情和中日双方代表团自7月21日以来所进行的14次会谈的成果后，按照中央的指示，表示为使双方的谈判一举达成协议，中方原则同意日方8月7日提出的建议，即在“反霸”条款上加进“本条约不影响缔约各方同第三国关系的立场”的内容，并同意在“反霸”条款上增加“其他任何地区”的字样，强调这是中方所作的又一次重大努力，希望阁下不虚此行。
韩念龙副外长和佐藤正二大使根据两国外长达成的原则协议，于8月10日上午就条约的条文措词进行具体磋商，并在11日上午举行的事务级谈判班子全体会议上，就条约的全部问题达成协议。双方商定，条约将在北京由两国外长正式签字，交换批准书在东京进行。
8月10日下午，邓小平副总理会见园田外相和日方谈判班子的全体成员，气氛十分融洽，双方为条约基本谈成感到由衷的喜悦。
会见中，邓小平首先感谢园田外相的诚意，并语重心长地说：“中日两国有两千年的友好交往史，其中只有一小段走得不好。今后，我们的友谊应该超过过去历史上的两千年。恢复邦交是晚了一点，但复交之后，两国关系发展得不算慢，两国人民希望早日缔约，使两国的友好进一步确定下来。”
邓小平强调指出：“条约的中心内容就是反霸，虽然反霸不是针对第三国的，但是，谁搞霸权就反对谁，谁发动战争就反对谁，不单是第三国，也包括反对自己那样干。虽然这次写入条约的反霸条款文字上作了些修改，但保留了精神实质。我完全同意园田外相说的，这个文件不但是我们过去两国关系在政治上的总结，也是我们两国关系发展的新起点。”
关于园田直提到钓鱼岛问题，邓小平严肃强调，钓鱼岛等岛屿自古以来就是中国的领土。他说：“一如既往，搁置它20年、30年嘛！”
8月12日晚上7时许，人民大会堂安徽厅灯火辉煌，《中日和平友好条约》签字仪式在这里举行。华国锋总理、邓小平副总理和全国人大常委会副委员长廖承志出席了仪式。黄华外长和园田直外相分别代表本国政府在条约上签字，双方共同举杯庆贺。至此，历时4年多的缔约谈判终于大功告成了。
1978年10月22日至29日，邓小平作为国家领导人战后首次正式访问日本。这次访问，是为了出席互换《中日和平友好条约》批准书仪式，也是邓小平在酝酿中国现代化大战略的过程中所做的一次考察、取经和向日本发出强烈的合作信号之旅，对中日关系的推动，对中国后来的发展，其作用难以估量。