1996 年，杨振宁到华中科技大学演讲，当主持人介绍杨振宁于1957 年获诺贝尔物理学奖时，他立即插了一句：“那时我持的是中国护照！”在获诺贝尔奖时他是中国人，这是他永远感到自豪的地方；同时他也殷切希望人们千万不能忘记这件事。
青年时期的杨振宁像留学的众多中国学者一样，原准备在美国学成以后即回国工作，报效祖国。但是由于朝鲜战争爆发，美国总统下令，所有获得博士学位以上的华裔理工博士一律不准返回中国，于是杨振宁的回国问题就一时无法实现。到了后来，由于研究工作的深入，他逐渐适应了美国的生活，加之娶妻生子，就有了把家安在美国的想法。但对于加入美国籍，他一直痛苦地斗争着，不愿轻易作出这个决定。
虽然杨振宁的归意逐渐隐去，但他和家庭的关系仍是非常紧密的。他曾经对传记作家江才健说，他从小成长在一个非常稳定而有着丰富感情的家庭环境里，这对于他的人生观、对于他做人的态度，都产生了积极正面而深远的影响。他认为，自己深受中国传统人伦观念影响，而这种中国文化传统中最好的一部分，对于他后来面对不同文化和环境的挑战，也带来一个强大的稳定作用。
1949年5月25日，在中华人民共和国诞生前5个月，上海解放了，这时杨振宁还在芝加哥大学，正是想到普林斯顿高等研究所去的时候，这时他当然十分挂牵上海的家人。犹豫了好几天之后，他给父母发了一封问平安的电报。使他万分惊喜的是第二天他就收到了父母的回电，回电只有“平安”两个字。这给杨振宁带来了极大的欣慰。他后来在回忆中写道：
这个经历鼓舞着我，在随后的岁月中对我起了决定性的影响，包括在中美和解的迹象一经显露我就当机立断决定访问中国这件事。
此后由于冷战延续，中美完全隔绝。在这期间，杨振宁还算比较幸运，能经常和家中有信息往来。但是不能亲自回家看望日渐衰老的父母，总是他心头巨大的隐痛。
1957年夏天，杨振宁要到日内瓦工作几个月，这时他虽然还没有获得诺贝尔奖，但已经成了非常有名的物理学家，而且获奖呼声很高。杨振宁抱着试探的心情，给上海家中发了一封电报，说他将会带着妻子杜致礼和长子杨光诺到日内瓦，希望父亲杨武之能够到日内瓦来团聚，见见从未谋面的媳妇和孙子。幸运的是，杨武之很快就获准到日内瓦团聚。杨武之还到北京德胜门外功德林一号看望了还在服刑且从未见过面的亲家杜聿明先生。杜聿明给女儿写了一封家书，托杨武之带去。6月中旬，杨武之到达日内瓦。
这一次团聚，给父子两人带来了极大的欢悦。在共同生活的两个半月中，杨武之开始因为身体不好，有一个星期住在医院里。他的身体从任教西南联大后期就一直不大好，不过这一次倒是很快就痊愈出院了。在这期间，祖父带着小孙子常常到美丽如画的公园散步，其心情之舒畅可想而知。而且那时，虽然国内正开始大规模的政治运动，但国家总体上欣欣向荣、生机勃勃，所以只要有空闲时间，杨武之就会向杨振宁介绍新中国成立以后的新气象和新事物，还带着杨振宁到日内瓦中国领事馆看新闻纪录影片《厦门大桥》，看到了建造这座大桥时所克服的不能想象的困难。
后来妹妹杨振玉在回忆中写道：“欢聚的时刻就要过去了，大哥买了一盆终年盛开的非洲紫罗兰，专门照了相，并在相本上写上‘永开的花是团圆的象征。父亲临别时写了两句话给大哥、致礼留念：’每饭勿忘亲爱永，有生应感国恩宏。”
8月底，杨武之返回上海。
1960年春天，杨武之和妻子罗孟华一起，经苏联、捷克到瑞士日内瓦再度同杨振宁见面，这次弟弟杨振平也从美国赶到日内瓦。当时中国正在“大跃进”“大炼钢铁”“人民公社化”的高潮中，全国经济几乎处于崩溃边缘。在这种情况下，杨武之处于很尴尬的境地。他回国后曾对国内的几个孩子说：“我现在很矛盾，国内各方面有些失序，我怎能劝说振宁回国来呢？他回国来怎么还能继续作研究？但是他老是留在美国，美国政府又老是以中国为敌，我们又都在国内，长此以往，如何是好？而且，我写信给周总理时，曾写过我要介绍新中国的情形给振宁，希望他们毅然回国，可现在中国的研究环境比美国差太多，生活环境也不行，我很难启齿。”
杨振宁的母亲是一位家庭妇女，她不像杨武之那样复杂多虑，她直截了当地把近几年买菜买粮食等的实际情况告诉杨振宁。杨武之听了，回到上海给孩子们说：“我听了你母亲介绍上海的社会生活给你们大哥听，我非常矛盾，一来你母亲接触的是实际生活，她说的都是事实，但你们母亲没有从长远看问题，二来可惜的是我不能把我对中国前途的预测完整地说给振宁，并且说服他同我看法一致。”
1962年，杨武之夫妇再次到日内瓦与杨振宁、杨振平相聚。这次，数学大师陈省身也专程随他们到日内瓦看望昔日的老师和师母。这时，国内正处于所谓“自然灾害”余波的后患之中，营养不良的浮肿病全国泛滥，日常用品如钉子、肥皂、火柴都有如稀世珍宝。杨振宁的母亲主持家务，一天三顿饭得由她操办，她的痛苦感受当然比杨武之更强烈而具体入微。因此罗孟华反对杨振宁回国，她说，振宁回国别说得不到诺贝尔奖，恐怕还会受到政治上的冲击。杨武之面对当时国内的现实，不能不认为罗孟华说得有道理，但他又想到对周总理的承诺，一是劝杨振宁不要去中国台湾（这点看来可以做到），二是劝他在时机成熟时回到中国大陆（这一点恐怕很难实现了），因此心中甚感内疚。
杨振宁后来回忆：
1962年父亲、母亲和我在日内瓦会面，父亲向我介绍了新中国的建设和新中国的思想。他的话许多地方我能了解，也有许多地方我不能了解，这样，就产生了多次的辩论。有一晚我们辩论了很久，最后我说：“您现在所说的和您几十年以前教我的不一样。”他说：“你怎么还没有了解，我正是要告诉你，今天我们要否定许多我从前以为是对的，而实际是错误的价值标准。”这一句话给了我很深的印象。
1997年，杨振宁的父母都已去世，他又一次回忆起在日内瓦3次与父亲、2次与母亲见面的情景：