蜀道智慧交通集团所属四川云控突破昇腾算力解码速度翻倍!
2026
10/22
星期四
蜀道智慧交通集团
1220 浏览

国产算力到底能不能打?

四川云控用实践给出了自己的答案:不仅能打,而且越来越好用。

但话要说在前面:国产化之路,任重道远。硬件买得到,生态却要靠自己一点点培育。当前,四川云控只是率先做好了推理环节的国产化替代——训练、微调等更长的路还在前面,全面国产化,才刚刚走通第一步。

八张卡,二次核验

走进四川云控的算力机房,一排沐曦N260国产卡正安静地执行着图片识别任务,运行其上的,是公司AI团队自主训练的图片识别模型。

这张“国产卡+自研模型”的组合,交出了一份扎实的成绩单:

单张N260卡即可承接每天5万张高清图片的智能处理,第一字响应时延契合2秒的业务要求,识别准确率保持在92%以上;蜀道所属路网的关键事件图片二次核验,仅用8张N260卡就完成了。

1.jpg

单流性能:从2秒到0.8秒

首字响应时延(TTFT)直接决定推理服务的用户体验。在910B上,四川云控团队从算子适配、推理调优入手,把单流性能提升到了原厂基线的2倍以上:TTFT从2秒压降到0.8秒至1.1秒。

2.png

不要小看这一两秒的差距。从前提一个问题,要等上2秒才见第一个字,像在等对方“想清楚”;如今不到1秒就开始输出,几乎“话音未落,回应就来了”。一天几十上百次交互下来,快出的这点时间,攒成了顺手的体验,也攒成了效率。

3.jpg

图:v4-flash-0731昇腾国产算力全维度API基准报告。聚合解码吞吐1306token/秒、单流解码峰值162.2token/秒、最低首字时延401毫秒,693次请求零错误——数据全部来自国产算力实测。

把单卡算力,汇成集群力量

四川云控更进一步,把多台国产算力联结成推理集群:统一调度、协同作战,让算力按业务需要流动,空闲算力被充分激活,整体吞吐能力大幅提升。

不止于“量变”,更是“质变”

算力不再是互不相连的孤岛,而是可以弹性伸缩的整体;单点故障不再可怕,业务连续性更有保障——算力,真正成为可以放心托付的底座。

精细化调优:把推理链路拆到最小环节

国产算力“好不好用”,最终取决于调优的功夫下得深不深。四川云控技术团队的做法是:针对vLLM Ascend推理框架开展链路原子化分析——把一条完整的推理链路拆解到最小的环节,逐个环节找瓶颈、逐项开销做优化。

在这样的原子化分析之上,团队给出了自己的答案:融合算子调优+调度调优双管齐下。算子层面,把零散的算力开销融合起来,减少不必要的搬运与等待;调度层面,让请求、批次与算力匹配得更合理,把机器的潜力吃干榨净。

调优不能靠“感觉”,得靠数据说话。团队还自主积累了两件“趁手的工具”:性能验证工具,让每一次优化都可量化、可复现;模型精度测试工具,确保性能提升不以牺牲精度为代价。有了它们,优化不再是碰运气,而是有据可依的工程活。

4.png

一系列优化叠加下来,效果清清楚楚:

• 前缀缓存(KVcache):让高频请求复用计算结果,命中率高达97%,大幅减少重复计算;

• 预填与生成分离(PD分离):推理分工协作、互不干扰,在不掉推理精度的前提下,让agent调用、代码编写、办公协同等任务的首字时延稳定在1秒左右;

• 整体表现:单机单流输出稳定在90—140token/秒,16路并发时(受上下文长度限制,这是兼顾速度与承载的测试档位,并非并发上限),每台机器输出70token/秒;实测峰值单流解码162.2token/秒、整机聚合解码吞吐1306token/秒,最低首字时延401毫秒。

距离一流服务,还有多远?

如今,四川云控已实现对标2026年8月DeepSeekV4-Flash-0731官方API的速率能力——首字时延1秒、输出速率80—120token/秒。当然,对标不是终点:DeepSeekV4.1的官方API已经比它更快,国产算力追赶的脚步,不能停。

5.png

针对四川云控对于昇腾算力设备的调试优化情况,华为公司到四川云控算力中心多次交流沟通,对优化结果非常认可,基于四川云控的优化能力与效果,双方正在探索后续达成深度合作的机会与模式。

对四川云控来说,这些数字的意义远不止“跑得快”:它意味着核心技术自主可控,数字化转型的底座更稳;意味着把成本的主动权握在自己手里,让每一分算力投入都物尽其用;更意味着,当国产算力生态真正成熟时,我们已经练好了兵、备好了工具。

下一步,四川云控AI Infra团队将持续跟进新模型的优化适配,把每一次适配都沉淀为经验,为未来可能到来的蜀道集团级千卡集群做好技术储备——算力规模上去了,队伍的本事得先跟上。

用好国产算力,从“能用到好用”,这条路,四川云控走得踏实,也将继续走下去。

上一条: 没有了

蜀道集团微信公众号

蜀道集团微信视频号

蜀道集团抖音号

蜀道集团今日头条号

Copyright ©2021 蜀道投资集团有限责任公司

电话:028-85139812 传真:028-81250178  蜀ICP备2021016147号

本网站支持IPV6访问 技术支持

TOP