若论出身，张安世在汉代可谓显赫。其父张汤在汉武帝时曾担任御史大夫，一度是汉武帝的宠臣。张安世年轻时，就因父亲的缘故补荫为官。汉武帝时为尚书令，汉昭帝时为右将军，以辅佐有功，封富平侯。
“尝有所荐，其人来谢，安世大恨，以为举贤达能，岂有私谢邪？”张安世曾举荐一人为官，后来该人来向其道谢，张安世说自己是为朝廷举贤达能，乃是公事，岂能私谢，于是与之绝交。班固说：“其欲匿名迹远权势如此。”
张安世处事谨慎周密，每次与皇帝商议大事，待决定后，他总是称事离开。等皇帝颁布诏令后，他再派人到丞相府询问。所以即使是朝廷大臣，也无人知道张安世曾参与此事的决策。
张安世的哥哥张贺曾抚养过刘病己（汉武帝曾孙，后来的汉宣帝）多年，有时会在张安世面前称赞皇曾孙刘病己的才干，张安世总是禁止他说这些。刘病己即位时，张贺已去世，于是他对张安世说：“掖庭令（张贺）当初无端地称赞我，将军制止他是对的。”张贺无子，以张安世小儿张彭祖为子。张彭祖小时候也曾与刘病己一起读书。为了报答张贺，汉宣帝提出欲封张彭祖为侯，先赐爵关内侯，但张安世“深辞贺封”。宣帝说：“吾自为掖庭令，非为将军也。”“安世乃止，不敢复言。”张安世见为儿子辞封不成，“以父子封侯，在位大盛，乃辞禄”。
地节二年（前68） ，大将军霍光去世。御史大夫魏相上书建议封张安世为大将军，“上亦欲用之”。而张安世听说后，坚辞不就。汉宣帝笑着说：“君言泰（太）谦。君而不可，尚谁可者！”于是，张安世被任命为大司马、车骑将军，兼领尚书事，不久又改任大司马卫将军，集军政大权于一身。
张安世虽然身居高位，但生活仍十分简朴，对家人及门下弟子管束非常严格。从张安世这一代开始，张氏一门世代显贵，直至汉末。