1973年，袁世凯之孙袁家骝来华探亲，预定日程中有看望父亲的一项。国务院办公室因为家里早已破败不堪，准备给他另外安排一处比较像样的住处，以壮门面。父亲却答道：“我是这个样子，就是这个样子，何必换地方？”
还有一次，父亲在天津勾留，一位文史馆的老先生受其上级的委托，请父亲吃饭。这位老先生关请张牧石，转请父亲为他在其上级面前美言几句。张牧石不好拒绝，便将这个意思转达给了父亲。父亲却冷冷地说：“你看我是这样的人吗？”弄得张牧石惭愧不已。
父亲作为一代高士，时时感到落寞。王世襄曾在他的画上题诗道：
银锭桥西宅不宽，黄花红叶耐霜寒。
分明自写双清影，寄与词人作画看。
一次，画家黄永玉在北京西郊莫斯科餐厅偶见父亲，只见父亲点了一客红菜汤，几片面包，草草食毕；将剩余的面包、黄油用小毛巾裹好，带走。
1982年2月初，饱经沧桑的父亲仍不时参与各种社交活动，且不久将有扶桑之行，举行画展。不料一次宴会归来突然患了感冒，不思饮食，高烧不退，只好于2月9日住进医院——位于后库的北大医院。他住的病房是八人间的，母亲见这里的几个病人病情都比父亲严重，遂向院方请求，能不能换个单人间或双人间的病房？院方的答复是：“张伯驹不够级别，不能换。”两天以后，同房的一个病人死了，父亲的病情不见好转，反而比进来时重了。他情绪更坏，闹着要回家。母亲再跟医院的人请求换病房，医院还是那么讲，说父亲不够格。过了两天，又死了一个。这时父亲想闹也闹不动了，他从感冒转成肺炎。
这之后，父亲曾六七天不思饮食，仅靠输液维持生命。2月15日是他85岁的生日，他忽然神清气爽，想要吃东西。恰逢张大千的孙子张晓鹰在出国前来探望，还与他合影留念。
1982年3月初，一位美籍人士从长江三峡入川访问后，到台北来访问大千，赠送了一份他渴望的珍贵礼物——一包故乡成都平原的泥土。手捧泥土，大千热泪纷纷，并把泥土供奉在先人灵位前。一勺水、一撮土，只要来自故乡，无不牵动张大千的心。
父母亲合作了一幅画寄给张大千。张大千遂电告其在兰州的孙子晓鹰探望父亲，并一再叮嘱晓鹰与父亲合影，把照片给他寄到台湾。
病榻上的父亲零星地知道了张大千的一些情况之后，泣不成声，挣扎坐起，与张晓鹰留下一幅最后的照片。下午，父亲请人录下他作的一首《七律》和一阕《鹧鸪天》：
病居医院，张大千兄令孙张晓鹰赴美，来视并拍照，因寄怀大千兄。
别后瞬经四十年，沧波急注换桑田。
画图常看江山好，风物空过岁月圆。
一病翻知思万事，余情未可了前缘。
还期早息阋墙梦，莫负人生大自然。
以将干支斗指寅，回头应自省吾身；莫辜出处人民义，可负生教父母恩？
儒释道，任天真；聪明正直即为神。长希一往升平世，物我同春共万旬。
父亲去世后，有人跑到北大医院，站在大门口叫骂：“你们医院知道张伯驹是谁吗？他是国宝！你们说他不够级别住高干病房？呸，我告诉你们——他一个捐献给国家的东西，足够买下你们这座医院！把那些住高干病房的人，都扒拉一遍，看看哪个的贡献，能赶上张伯驹？”