怛罗斯一带的地形，从东到西分别是：一片宽阔的河谷，蜿蜒着的怛罗斯河，坚固高耸的怛罗斯城。唐军先沿着丝绸之路越过帕米尔高原，再穿过河谷渡过河才能攻城，而阿拉伯军则以逸待劳，在城上观察，还派了康、安、米、史、曹、何等西域诸姓的军队守在河谷伏击。
高仙芝首先派大将李嗣业带领一小部分先头部队飞速过河，在西域诸姓尚未反应过来时杀入敌阵。而怛罗斯城的守将发现后，立刻派城中精锐三千铁骑出城迎战，两军交锋，是硬碰硬的死打。而就在这时，高仙芝忽然命令主力部队全力进攻，一时间上万唐军过河当了援军。而阿拉伯的骑兵也越打越多。
短时间内，唐军在步兵对骑兵的兵种上落了下风，在人数上却占了上风，唐军立刻结阵法。据记载，当时使用的是“六花阵”，从诸葛亮的八卦阵中得到的启发，双方僵持不下。而天色已晚，阿拉伯一方下令收兵，而唐军长途跋涉，第一天不可能攻城，也后撤安营扎寨。
由此往后一连三天，唐军的步兵阵法每天都在怛罗斯城下与阿拉伯的骑兵阵法交战，每天都能杀敌数千得胜而归，直至第五天高仙芝下令攻城。唐军架云梯并使用了攻城机械，用机械带动石块向城头砸去，只看着城哪里破了就立即冲杀。而就在这时，对方的大批援兵到了。
阿拉伯帝国总共集结了十余万大军，而守城的则是很少一部分，如此对抗唐军凶多吉少。忽然间，唐朝一方的葛逻禄骑兵冷不防临阵叛变，扭头从侧方杀向了“自己人”。而怛罗斯城门大开，阿拉伯人也杀了出来。
葛逻禄部原先也属于突厥汗国，他们如何暗中与阿拉伯勾结，史书已无从记载，推测是利益交换的结果。葛逻禄部为三千骑兵，此时大唐已不足三万人，却要腹背受敌。高仙芝立刻下令撤退，但已有一万多唐军无法脱身，他们最终被困投降，而最终成功撤出的唐军仅有四千。万般无奈之下，高仙芝带领残兵退回了长安。怛罗斯之战，以大唐的战败而告终。
回到长安以后，高仙芝并没有受到处罚，但从此后多年在军队中不受重用，给了虚职高高挂起。他一定觉得这一仗败得实在糟心，若不是葛逻禄部临时叛变，或自己早日全力攻城，再或者早侦探到对方的大队行军，也可避免些损失。但从后世看来，这一仗大唐败在信息不通，知己不知彼，先天的不足占尽了劣势。
怛罗斯之战并非一场大规模的战役，而是一场双方行军途中的遭遇战，是一次短暂而激烈的边境摩擦。可这场战争在没打之时，胜利的天平就已经向阿拉伯帝国倾斜。其一是大唐主力三万，阿拉伯十余万，实力悬殊，几乎不够零头；其二是大唐长途跋涉千里奔袭，不论粮草、补给、后续增援部队全跟不上；其三是所属部下并不同心，大唐下属有葛逻禄、拔汗那两个西域部落，而坏事就在葛逻禄。
诚然历史上不乏以少胜多的战役，但与阿拉伯在中亚的战斗纯属硬碰硬地消耗实力，没有什么计谋可用，即便是勇如项羽，智如孔明，抑或是孙武附体，卫青霍去病复生，也难以战胜阿拉伯帝国了。大唐的败局是逐步浮现的，高仙芝意识到了，但没防范到。
而这又是一次奇怪的战斗。阿拉伯帝国并未由此与大唐成为世仇，并互相视对方为主要敌人。阿拉伯并未乘胜追击，双方继续通商。而唐朝也没有“割地赔款”，一蹶不振。唐玄宗并未处罚相关将领，也并未继续派兵作战，好像“过去就过去了”一样。双方好似街坊打架一般，打完了心里结下梁子，但表面上维持得尚好。也许是后来的安史之乱太过悲惨，小小的怛罗斯，被历史遗忘到角落里去了。
怛罗斯之战给了后人无尽的启发。唐与阿拉伯并无正邪之分，双方都是表面上为保护国家出头，实则在谋求自己的领地利益。在这里，不能说大唐打不过阿拉伯，国力不如阿拉伯，更不能说此战是中国千年衰败的转折点，只能说大唐对外并未一贯胜利，它打得起败仗，有大国足够的家底和自信。同样，中国和阿拉伯的文化物质交流进一步加深。这也许是我们并不大重视这次战斗的原因。
然而从另一个角度讲，此战以后，大唐丧失了大量在中亚的势力，中亚进一步伊斯兰化。我们不能说唐朝由此丧失了西域多少土地，但可以确认，此战是西域逐步消减大唐管辖的开始──很快就安史之乱了，唐朝顾不过来了。
大唐的衰落，并非因战败于怛罗斯，而是因安史之乱带来的八年乱离。