国内大模型词元服务TPS翻倍仍低于国外

驱动中国10月23日消息，中国信息通信研究院人工智能研究所、人工智能大模型及软硬件评测工业和信息化部重点实验室与中国人工智能产业发展联盟联合发布《大模型词元服务性能监测报告（2026年）》。报告提出，国内大模型词元服务每秒吞吐量较2025年实现翻倍，但仍低于国外典型模型；同时，词元服务首词时延有所增加，国内外趋势一致。

报告称，随着大模型技术迭代，词元服务成为从技术走向应用的关键点。我国日均词元调用量持续攀升，2026年6月国内词元日均消耗量约500万亿，为2025年12月的近4倍。产业中越来越多MaaS平台厂商通过公有云API方式供给大模型词元服务。

报告指出，用户对词元服务性能缺乏直观判断依据，并面临选型困难等问题。该报告基于2026年1月至8月监测数据，围绕调用成功率、吞吐速度、首词时延、稳定性、价格、上下文窗口等维度开展分析，对比原厂大模型官方平台，以及DeepSeek、Qwen、GLM、Kimi四款开源模型在第三方平台上的性能差异，并分析影响词元服务性能的关键因素，总结产业核心观察，明确下一步工作计划，旨在为用户选型提供参考，为产业界优化服务能力提供方向指引。

在吞吐性能方面，报告提出8月国内各模型平均TPS达到78.23个/秒，与2025年均值38.25个/秒相比实现翻倍。同期，国外典型模型TPS均值为112.82个/秒，与2025年12月51.35个/秒相比提升超过一倍，整体优于国内。

在首词时延方面，报告提出今年以来国内各模型平均TTFT持续提升，8月均值达到1.26秒，较2025年平均值0.78秒明显增加。8月国外典型模型TTFT平均值达到2.08秒，相比4月1.04秒亦明显增加。报告同时提出，TTFT上升并非单纯的性能退化。