父亲的性格本来就有些孤傲，加之愤世嫉俗，便更加落落寡合。即使高朋满座，众人谈笑甚欢，他若是觉得话不投机，便一个人坐在那里，谁也不理，只是自己用手摸着下巴，一根根地拔胡子。有时去找人，碰巧人家不在，他也不急，坐在那里能够等上两三个小时，也不叫人去找，还是摸下巴，拔胡子。生人见了他，往往有望而生畏的感觉，在一群亲近的朋友中，就得了一个“张大怪”的雅号。
大怪的怪处何止于此。虽然他的家产富可敌国，但他本人实在是朴素得令人难以想象。他不吸烟，不喝酒，不穿绫罗绸缎，长年布衫一袭；他饮食平淡，偶尔一个大葱炒鸡蛋算是上等佳肴。他绝不和时下公子们比较谁的汽车豪华、名牌，对他来说，只要有四个轮子，能跑就足够了。另外，他身上有许多令人无法理解的矛盾性格，例如，他坚决反对袁世凯搞洪宪帝制，把那个一心想做大太子的袁克定称为“赖家伙”，可是他和袁克定的私交甚笃，袁克定后来落魄一直由他照顾，1958年袁克定去世还是他料理的丧事。父亲不会理财，银行的业务大权旁落，但有时却显出超人的精明。例如，有一年清室小朝廷因为经济拮据，拿出一批宫里的地毯到盐业银行求售。别人看地毯已旧，花色暗淡，都说不要。他却令人全部收下。原来他看出地毯中夹有金线。那时教他京剧的师傅余叔岩因病久不登台，手头拮据，父亲叫他买下，结果把金线抽出就赚了三万元，地毯倒手卖出又赚了三万元。还有，他出身官宦，爷爷一生在官场中打滚，他却远离政治，和各派政治势力都保持一定距离，认识而已，却不深交。盐业银行经理吴鼎昌后来到蒋介石那里去当实业部长，他不但不去套近乎，反而和他疏远了。
父亲是个慷慨的人，只要有困难的人找到他，父亲总肯帮忙。我们钱不够的话也会想办法和别人借了给他。京昆名票包丹庭（1950年代初期在北京京剧基本艺术研究社曾为张伯驹主演的《别母乱箭》配演周母）家有困难，找到父亲，但没有直接说借钱。父亲为了帮助包丹庭，就和他互换了房子，由于包丹庭的房子比我们的好一些，父亲还贴给他一些钱。
父亲喜欢字画，看什么东西都是过目不忘，老先生们家里书架上的书，只要父亲看过，放在哪个架子上、第几行、第几本，都能记住。在我的记忆中，父亲的一些收藏品大部分都放在银行里，没有放在家中。历代的包括帝王在内的大收藏家，都在《平复帖》上留下了自己的印迹。只有张伯驹，不留丝毫痕迹。凡经手收藏的人，几乎都在《平复帖》上赚钱获利，唯他莫名倒贴了一大笔银子，无偿捐献给国家。
父亲是个怪脾气。一次，有个他不喜欢的人来找他，父亲在下棋，人家叫他“张大爷”，他就是不理人家。我只能招呼客人说，您请坐，请喝茶。我还问父亲，“爸爸您怎么不理人家啊”，他还是不吭声，也不理我。对于不与他志同道合的人，他就是这样。谁的品德高尚，谁的品德低劣，父亲心里有数，他什么都不说。
那时，我们家客人换拨儿来。隔一天总要来客人的，来吃饭，谈艺术，如京剧方面的，拉胡琴，然后书法的，画画的，也是这样。
红学家周汝昌曾经回忆说：“我到了张先生那里去了熟了以后，我不理张先生，张先生也不理我。我就坐在大客厅的外间，那都有案子，我愿意干什么干什么。我要回校了，我也不告辞，我出了门走，那个摆脱俗念，一丝没有俗气，一丝没有那个富贵气，一丝没有那个看不起人，说几句狂话，摆几副狂态，我就从来没见过。那个人那个气质、气味，那个温文尔雅，是这样一个人。”
老先生们来，我父亲就是互相切磋研究，你的东西拿出来让大家评论，哪点好，哪点不好。那时候北京的画家吴镜汀、吴佩衡啊，多得很。刘海粟也不是经常捧人的，可是他到北京来，他必须要到我们家来的，他们来了呢，就有说有笑有谈的。我父亲就对这些艺术界、文化界的，他特别尊重，你怎么说他都不累。
父亲时常教育我说：“一个人要热爱自己的国家，这是大事，不能马虎；除此之外都是小事，不必斤斤计较。”
父亲视钱财为身外之物，一生聚散大都用于收购文物。他在西安曾创建的秦陇实业公司1949年后即奉献给国家。公司代表曾特地向他报告公司的发展和赢利情况，他一概不感兴趣，只说：“我不管了，厂子我不要了。”
父亲视权力为无物。他虽然是个交际广泛的社会活动家，因爱好多，曾组织或参加了许多的社团，如北京京剧基本艺术研究社、北京中国书法研究社、北京棋艺研究社、北京古琴会等，但他在里面大都是担任副职。反右时，有人说他有野心，他说：“我从不想要权势地位，要想当官的话，别说先父在时，就是‘八·一五’之后，孙连仲让我在唐山和石家庄两市长中挑一个，我都没干。我没有那才干，我只能自比侯方域而已。”
父亲胸襟坦荡，虽处逆境，安之若素，既不顾影自怜，也不嫉恨别人。在反右运动中，京剧演员钱宝森在批判他的时候，有些过火言辞——其实这也怪不得钱，那时人人自危，也只好自伪以求自保。后来，钱宝森去世，父亲托人带去一百元的赙仪，这在当时是个不小的数目，一个月的伙食费只不过十多元左右。有人劝他不必给这么多，意思意思就行了。但父亲坚持送一百，说，当初他帮我打把子练武功，我们的交情还在。
有一次，父亲要到沈裕君（笔者按：中央文史馆馆员，章太炎夫人汤国黎的表兄）家中去下围棋，刚要出门，碰到一位香港来客买了一幅母亲的画，想请父亲题字，并表示愿意多加五百元。不料，父亲不听钱犹可，听了多付五百，便气冲冲地回答说：“不写，我现在要去下棋！”