2023-07-31 16:07:49 来源：金融界
【资料图】
如今的大型语言模型（LLM）可以理解世界上很多语言，甚至是一些记载较少的语言。不过，大模型处理不同语言之间时，其性能上存在很大的差异，这是由于模型成本与其所训练的语言紧密挂钩。
牛津大学最近进行的一项研究表明，从诸多语言模型的计费方式看，英语的输入和输出比其他语言的输入和输出要便宜得多。例如，西班牙语的成本约为英语的1.5倍，简体中文的价格约为2倍以上，缅甸掸语在15倍以上。
成本的差异也间接导致英语使用者和世界其他语言使用者之间形成AI鸿沟。
成本差异主要是因数据标记化所带来的。标记化就是将训练文本分解成更小的单元，这个更小的单元就是标记（Token）。这是一个人工智能（AI）公司将用户输入转换为计算成本的过程。
研究显示，使用英语以外的语言访问和训练模型的成本都更高。例如中文，无论是在语法上还是在字符数量上，都有更复杂的结构，从而导致更高的标记化（Token）率。
举例来看，基于OpenAI公司的GPT2模型，对于“国家不同，所得税的结构是不同的，税率和税率等级也有很大的差异”这句话的处理来看，在简体中文处理中运用到了66个Token，在英语处理中仅用到了24个Token，而在禅语处理中使用到了468个Token。
就每次输出所需的费用而言，汉语的成本是英语的两倍。所以在AI相关的费用中，英语的成本效益是最高的。
当涉及到语言模型时，设计者的主要目标是实现低成本和高效功能之间的平衡。随着AI领域的不断发展，科技公司必须仔细考虑语言选择对成本和可访问性的影响。
这种成本差异促使中国、印度等国家纷纷开发自己的母语LLM项目。
本文源自：金融界
标签：
据农业农村部监测，7月31日"农产品批发价格200指数"为118 36，比上周五
旗袍，中国和世界华人女性的传统服装，被誉为中国国粹和女性国服。虽然其定义和产生的时间至今还存有诸多争议，但它仍然是中国悠久服饰文化
7月21日，北京市政府发布《北京市电影局关于在疫情防控常态化条件下有序推进电影院恢复开放的通知》，宣布全市低风险地区影院，可于7月24日
武汉7·16渡江节组委会14日发布公告，由于长江武汉关水位超警戒水位，按照规定取消2020年第46届武汉7·16渡江节。受近期持续强降雨影响，
过去一段时间，国家级非遗项目灰塑传承人邵成村，多次在陈家祠等工作现场，向身边那些带着好奇目光的人们讲解灰塑的种种技术细节：草根灰、
7月13日，位于璧山区南门唐城夜市街区的璧山冷酒夜市开街。这是璧山区打造夜间经济消费载体、培育夜间经济活动品牌的举措之一。璧山市民一
