有了这层亲戚关系，以后的事情就好办了。项羽争天下时期，吴芮的属地就是项羽重要的“后勤基地”，每年提供大量的兵马钱粮支持，助项羽一次次在中原“力拔山兮气盖世”。作为回报，吴芮的属地就成了中原难民们避难的乐土，势力也进一步南扩到了长沙地区，修筑了长沙城。长沙，这座中国南方名城的历史，就是从此开始的。
到了项羽进入关中，分封诸侯的时候，也没忘了盘踞南方的吴芮，正式册封他为“衡山王”。而就在此前，另一路崛起的新势力——刘邦，也和吴芮搭上了关系。搭桥的人，就是刘邦麾下的谋士张良。
张良早年游洞庭湖的时候，与吴芮结交，成为好友。正因这层关系，在后来楚汉相争时，吴芮一度保持中立。在项羽彭城之战得胜，但兵力匮乏的时候，吴芮婉拒了项羽调兵的命令，对中原地区的混战采取谨慎观望的态度。
到了楚汉战争的最后一年，大局基本确定，吴芮终于向中原战场投下了自己的赌注。他宣布背叛项羽，投身刘邦，调动数万大军北进，从项羽的后面发动进攻。
“赌一把”的结果就是，吴芮的军队成为韩信“十面埋伏”中的一分子，把天下无敌的项羽彻底逼上了乌江自刎的绝路。
对吴芮的贡献，刘邦也是肯定的，在得胜后的分封中，吴芮是八个受封的异姓诸侯王之一。刘邦也在诏书中对吴芮大加称赞，说他“从百粤（百越）之兵，佐诸侯，诛暴秦，有大功”，封为“长沙王”。而以地盘论，吴芮当时的地盘包括了今天的湖南省以及湖北南部，江西、安徽的部分地区，是八个异姓王中占地较大的一位。
西汉初年的吴地，即江淮和苏南地区，已渐成西汉王朝的经济重地。卧榻之侧，又岂容他人酣睡？
对吴芮，刘邦曾屡次试探，他都很好地应对过去。比如，刘邦曾问吴芮：“吴，古之建国也。昔荆王兼有其地，今死亡后。朕欲复立吴王，其议可者。”这番话饱含了杀机，吴芮怎能听不出来，连忙表态说：“您的侄儿刘濞可以立为吴王。”刘邦的疑虑因此渐消。
情商极高的吴芮也知道，只让刘邦放心是不够的，还必须让他安心。他多方行动，主动向刘邦检举揭发女婿英布的反意，表明了“大义灭亲”的态度；同时他极力拉拢刘邦的兄长刘贾，将自己手中的精兵交给对方来节制；最后吴芮干脆让儿子吴元带着部分族人归乡生活，等于是把家族安置在刘邦的监管之下。
至此，刘邦对吴芮彻底安心了。吴芮主动遣散了原有的军队，仅留下几千人的护卫，在长沙地区大力发展农业，恢复生产，与民休息。
在刘邦大肆诛杀异姓王的血雨腥风中，吴芮能够得以保全，除了他的低调与不争外，更重要的是他对于当时西汉帝国的利用价值。
吴芮统治的长沙国，在西汉时期是蛮荒之地，长沙国的南边更存在着大大小小的越族政权。长沙国的存在，既是保证汉帝国领土不受越族侵扰的屏障，又是汉帝国掌控长江以南土地的一颗重要棋子。
吴芮死后，长沙国的麻烦并没有结束，随着刘邦去世，吕后当政，长沙国迎来了新一轮的危机。
长沙国的南面是接受了汉帝国册封，成为汉帝国藩属国的南越国。吕后在位时，故意取消了南越国的王号，惹怒了南越国王赵佗。赵佗悍然发兵攻汉，兵锋首先指向长沙国。
长沙国的人口遭到掳掠，但南越国也蒙受了惨重的损失，可以说是两败俱伤。后来，陆贾等人出使南越国，成功劝说双方罢兵和解。
此次战争也让吕后明白，长沙国的存在，是西南地区和平稳定的重要砝码，因此就打消了除掉吴家的念头。
吴家王位代代传承，到吴芮的五世孙吴差的时候，无嗣，王位随之废除。汉帝国册封汉景帝第十子刘发为“长沙王”，又传九代，直至西汉帝国灭亡。刘发的后代中，更出了一位再造汉朝社稷的英主——光武帝刘秀。