移动网络运营商在AI生态系统中的作用
语言障碍是阻碍低收入和中等收入国家(LMICs)人工智能(AI)公平发展的主要因素。全球数字世界主要由少数“高资源”语言主导,尤其是英语,拥有丰富的数字数据资源,而世界上绝大多数语言则因缺乏机器可用的数据而成为“低资源”语言,难以用于训练自然语言处理(NLP)模型,尤其是需要海量数据的大型语言模型(LLMs)。
语言鸿沟与AI发展
LMICs中低资源语言主导的国家,其AI采用率普遍较低,加剧了现有的数字鸿沟。LLMs主要基于高收入国家(HICs)的英语、法语或西班牙语等主导语言的数据进行训练,而互联网作为世界知识存储的主要数据库,其内容超过一半是英语,尽管英语母语者仅占全球人口的5%。世界上7,000多种语言中,绝大多数缺乏数据、工具或技术进行自然语言处理,与英语、法语、西班牙语、德语和普通话等少数“高资源”语言形成对比。低资源语言国家的AI采用率比高资源语言国家低20%,这表明较低采用率并非由收入或基础设施差距驱动,而是由语言障碍导致模型性能较弱所致。
文化与语言多样性
文化语言排斥的影响因环境而异。对于一些社区,尤其是英语或其他高资源语言广泛使用的地区,本地语言AI主要服务于文化保护目的,维护语言遗产和代际知识传承。对于其他地区,尤其是主导全球语言覆盖范围有限的地区,本地语言AI是唯一可行的有意义访问技术的途径。文化语言多样性不仅指语言编码方式,还包括知识体系、社会规范和认知方式。因此,AI中的语言包容性不仅涉及翻译,还涉及系统是否能够有意义地表示本地环境、意图和知识。
本地语言AI的机会
虽然语言鸿沟仍然是数字包容性的重大障碍,但它也是AI在LMICs产生有意义影响的最重要机会之一。LLMs的最近进展从根本上改变了可能性和成本效益。LLMs现在可以学习跨语言的共享语义表示,使从高资源语言(如英语)获得的知识能够转移到低资源语言。这个过程被称为跨语言迁移,使得模型可以通过远少于传统方法的本地数据对模型进行微调。这为LMICs环境提供了实用且经济高效的途径,在这些环境中,从头开始训练大型模型往往不可行。
移动网络运营商与本地语言AI
移动网络运营商(MNOs)在数字服务和AI生态系统中发挥着战略作用,但其在弥合语言鸿沟方面的作用尚未得到充分理解。通过在LMICs进行的四个案例研究——塞内加尔的Orange、斯里兰卡的Dialog Axiata、哈萨克斯坦的Beeline(VEON集团)和印度尼西亚的Indosat——本报告探讨了MNOs如何通过本地语言模型推进更具包容性的AI。
案例研究
- Orange(塞内加尔):专注于混合语言系统,通过对话界面(包括语音通道)提供Wolof语言的客户支持。
- Dialog Axiata(斯里兰卡):使用基于提示和混合语言技术降低女性企业家数字创作的门槛,采用无代码方法。
- Beeline(哈萨克斯坦):领导多利益相关方努力,建立基于开放访问和公共部门使用的哈萨克语言模型。
- Indosat(印度尼西亚):投资于主权计算和开放语言模型,支持跨公共服务和行业的国家AI能力。
案例研究的关键经验
核心动机
所有四家MNO都将本地语言AI的采用驱动于客户需求和更好地服务客户。随着客户互动越来越多地转移到数字和自动化渠道,主导模型和工具无法可靠地支持它们使用的语言。在塞内加尔和斯里兰卡,这直接转化为直接服务交付和采用风险:更高的呼叫中心负载、更低的数字服务采用率和用户排除,因为界面默认为法语或英语,而不是更广泛使用的Wolof、僧伽罗语或泰米尔语。
角色和能力
MNOs在部署和整合语言技术方面发挥着最强作用,而不是数据集创建或模型开发。它们的比较优势是结构性的:国家层面的分布网络、对用户行为的强烈理解、建立起来的客户面对渠道(例如呼叫中心、IVR系统和应用程序)以及召集各种利益相关者的制度合法性。这些能力使MNOs能够大规模部署语言技术,并将技术能力转化为现实世界的使用,充当集成器、协调器和规模使能者。
技术方法
在所有四个案例研究中,MNOs都采用了受部署约束而非前沿模型雄心的务实技术策略。它们没有试图从头开始构建语言模型,而是与现有的基础合作,通过微调、持续预训练、基于提示的技术和模块化系统集成来调整多语言架构。重点是运营可行性、可靠性和迭代改进,而不是开发新的模型架构。
商业模式
对于大多数MNO来说,本地语言AI的商业模式是通过更易于访问和更符合本地需求的服务来提高竞争优势。解决方案通常源于内部和运营需求,投资得到了客户服务改善、呼叫中心负载减少和数字渠道采用率提高等近期的改进所证明。差异化带来的好处是可衡量的,相对较快,并构成了所有四个案例研究中投资的基本理由。
MNOs为本地语言AI做出贡献的途径
案例研究表明,客户支持和交付是MNOs进行本地语言AI的实用且具有战略吸引力的切入点。虽然举措的规模和雄心各不相同,但即使是更狭隘的部署也可以产生有意义的包容性,并可作为更广泛工作的基础。这些案例突出了迭代开发、强大的反馈循环和健全的监测和评估(M&E)策略在使较小举措能够随着时间的推移而成长和成熟方面的重要性。
目前,MNOs为本地语言AI做出贡献的三条现实途径是:
- 运营使能者和最后一英里分销商:这是大多数MNOs最直接和可扩展的贡献途径。MNOs将现有的或调整后的语言技术(例如语音识别、文本到语音、翻译系统或小型语言模型)集成到高容量、客户面对的渠道中,包括呼叫中心、IVR菜单、USSD流程、移动应用程序和聊天机器人。主要目标是运营性的:减少呼叫中心的负载,提高客户体验,并使数字服务能够在人们使用的语言中运行。
- 生态系统召集者和桥梁:第二条途径涉及MNOs充当生态系统召集者和桥梁,协调国家或地区语言AI生态系统中的利益相关者。MNOs围绕共同目标(如语言包容性、AI主权和可扩展部署)召集大学、语言学家、政府机构、AI实验室和国际合作伙伴。MNOs的贡献在于翻译和协调:将研究输出转化为可部署的系统,将社区生成的资源与企业和政府约束相协调,并协调跨其他相互隔离的参与者的投资、计算访问和治理。
- 基础设施构建者:少数MNOs通过充当AI使能基础设施的提供者扩展了他们的角色,语言模型嵌入到更广泛的数字和AI平台中。在基础层面,MNOs已经提供了开发AI支持服务所需的连接性、设备生态系统和边缘功能,并决定了这些服务是否能够到达用户。对于语言AI来说,这一层至关重要,因为基于语音和对话的服务依赖于可靠、低延迟的网络,这些网络能够在不同的地理区域和设备类型中运行。
结论
案例研究表明,客户支持和交付是MNOs进行本地语言AI的实用且具有战略吸引力的切入点。语言包容性是包容性AI的基础。虽然LMICs中的语言AI已经取得了进展,但AI系统仍然落后于现实的语言环境,许多广泛使用的语言在数字和AI生态系统中仍然资源不足。在LMICs中,包括研究机构、初创公司、民间社会组织和社区网络在内的各种参与者积极参与语言AI生态系统,为本地语言AI做出贡献。MNOs的贡献途径表明,运营商可以通过多种途径参与该生态系统,从部署和集成到协调和基础设施提供。它们还强调了没有一个参与者能够单独实现语言包容性。进步取决于互补的角色和持续的行业间合作,每个参与者都贡献其独特的优势。MNOs有机会与本地语言AI参与者建立互利共赢的合作关系,将社区领导的语言专业知识与其规模、分销和集成能力相结合。这样做可以提高语言技术的覆盖范围和影响力,但需要进一步的研究来了解哪些合作模式最有效和公平,如何跨参与者对齐激励,以及如何随着时间的推移保持合作。