新研究称AI模型Token消耗量可相差17倍

驱动中国10月30日消息，人工智能语言公平研究联盟发布的一项研究显示，AI模型处理不同语言时消耗的Token数量差异明显，使用人数较少或网络内容较少的语言可能带来更高成本，其中一个AI模型中不同语言的Token消耗量最多相差17倍。

据外媒Rest of World当地时间10月28日报道，该联盟上月发布研究称，使用人数较少的语言用户在使用AI服务时，可能需要支付比英语及其他主流语言用户更高的费用。Token是AI模型处理文本等数据的基本单位，由分词器将文本、图像或音频拆分而成。研究人员将不同语言由此产生的额外成本称为隐性的“分词器税”，并指出网络内容较少的语言更容易受到影响。

研究发现，即使只考察互联网上最常用的20种语言，Token消耗量也存在明显差异，最高值为最低值的1.5至5倍。如果将测试范围扩大到200种语言，差距还会进一步扩大。在其中一个AI模型中，不同语言的Token消耗量最多相差17倍。

研究报告指出，班加罗尔的一家初创企业每次向AI输入指令、获取回答时，都可能比奥斯汀的竞争对手付出更高成本。研究还提到，“分词器税”带来的问题并不限于费用上涨。消耗的Token越多，AI响应越慢，能够有效处理的上下文内容也越少。计算资源和网络条件本就有限的地区受到的影响尤其严重，分词处理上的不平等也限制了人们参与AI经济的机会。

印度首家专注AI投资的风险投资基金Activate AI联合创始人普拉蒂尤什·乔杜里指出，使用非英语语言时，同样的上下文容量能够容纳的文档和对话记录更少，AI生成回答也更加费力。乔杜里以教学为例解释称，老师要想教好学生，需要记住学生此前犯过的错误和接受过的讲解；如果使用某种语言时，这些历史记录很快占满上下文窗口，最终连教学质量也会受到影响。

乔杜里认为，语言处理效率应当像准确性、速度和可靠性一样，成为AI产品的基本要求。他表示，要求所有语言获得完全平等的待遇或许不现实，但长期存在的巨大差距仍需合理解释，并制定改进计划。他希望所有主要AI实验室公布各语言的评估结果，说明使用不同语言完成相同难度任务分别需要花多少钱，并承诺改善对最薄弱语言的支持，取得可量化的进展。

报道提出，改善这一问题的办法之一，是提高底层数据的质量。孟买AI语音基础设施初创企业Navana.ai联合创始人兼CEO拉乌尔·纳纳瓦蒂认为，开放数据项目在这方面很重要。他举例称，Navana.ai与印度科学学院合作、由盖茨基金会资助的RESPIN项目，收集了38种方言母语使用者提供的文本和朗读录音。

人工智能语言公平研究联盟还发现，决定Token消耗量的并不只有一种语言的使用人数，采用什么文字同样重要。例如，阿斯图里亚斯语的使用者不多，在Common Crawl数据集中也没有收录，但拉丁字母为其带来了优势；意大利语等同属罗曼语族的语言在数据中有所覆盖，也让阿斯图里亚斯语受益。

Maya Research CEO迪曼特·雷迪指出，现有许多分词器仍然主要针对英语等数据资源丰富的语言进行优化，根本问题在于缺乏高质量的数字化数据。雷迪强调，改善训练数据本身还不够。他表示，Token价格下降得很快，费用差异造成的直接影响应会逐渐减轻；更好的多语言数据和合成数据也有助于提高模型质量。但要真正缩小不同语言之间的分词差距，AI实验室仍需专门改进下一代分词器设计，让其更好地处理相关语言和文字。