此时的阿拉伯帝国也发生了内战，阿拔斯王朝取代了伍麦叶王朝，其势力渗透到中亚诸国，强迫被征服地区上交重税，与大唐在中亚的霸权产生了激烈的冲突，
于是，怛罗斯（今哈萨克江布尔城附近）战役终于在公元751年爆发了，其起因就是高仙芝对石国（今乌孜别克斯坦塔什干）发动的战争。
天宝九年，高仙芝以石国王“无藩臣礼”为借口，带兵讨伐石国。细看史书，就会发现这种理由是十分牵强的，背后包含了强烈的功利心。
天宝末年，为了满足唐玄宗开疆拓土的宏愿，边将们往往不择手段，想出一些匪夷所思的花样。
安禄山设置酒宴，灌醉契丹、奚族的酋长，然后就在酒宴上割下他们的脑袋，还坑杀随从数千人。
高仙芝假装和石国国王和谈，却发动了突然袭击，俘虏了石国国王，对石国大肆抢掠，对石国百姓施行了种族灭绝。
在这之前，石国对大唐一直是进贡不断的，有《册府元龟》为证，但是，强权即真理这句话至今没有过时，弱国没有话语权。
石国王子逃走了，他把高仙芝欺诈贪暴的行径遍告诸胡部落。诸胡部落震怒了，联合大食国（阿拉伯帝国），准备进攻安西四镇。
高仙芝得知消息，决定先发制人，率领包括拔汗那、葛逻禄人在内的藩汉联军三万人深入大食国境，在怛罗斯（今哈萨克江布尔城附近）与大食国的六万精锐展开了激战，双方杀了五天五夜，不分胜负。
在这关键时刻，唐军阵营中的葛逻禄人被大食国将领收买，临阵倒戈，与大食**队一起夹攻唐军，唐军敌友难辨，乱了阵脚，终至溃败。
右威卫将军李嗣业奋力杀开一条血路，才保着高仙芝和数千唐军离开了战场。大食**队胜得极其艰苦和侥幸，唐军损失惨重，但未伤元气和根本。
后来，出于对付吐蕃的共同利益，唐朝和大食很快和好了，如果没有后来的“安史之乱”，唐朝的武力扩张应该还会继续。史料上记载被俘的唐军中有造纸工匠，是他们将造纸术传到了西方，史家对此存有疑义
，当时，大唐的陆路交通和海上交通都如此发达，难道这么长的时间没人知道造纸术是好东西？但是，怛罗斯战役的确改变了世界的格局，
唐朝在中亚的势力受到了沉重的打击。怛罗斯战役以后，虽然力图恢复。却没有取得预期的成效。高仙芝被免去了安西四镇节度使的职务，
入朝做了右金吾大将军。后来被封为密云郡公。天宝十一年，封常清担任了安西四镇节度使的职务。
天宝十四年（公元755年），安禄山起兵造反，十五万大军直扑洛阳和长安。安西和北庭的精兵入关勤王，边境由此兵力空虚，
但仍然苦苦支撑了很长的岁月。后来，吐蕃和葛逻禄攻陷了北庭都护府，吐蕃又攻陷了安西都护府，大唐在中亚的势力才走向式微。