SmartFi 项目 ： 为 FinTech 新闻探索 AI / ML

摘要 世界银行金融和技术部与世界银行技术和创新实验室合作，与GoogleCloud和SyntasaInc.合作，了解人工智能和机器学习如何增强全球金融科技主题的新闻来源和情绪。本成果报告分享了关键的学习和见解，作为原型探索和开发的一部分。 ACKNOWLEDGEMENTS 本报告中概述的关键学习是由项目SmartFi（智能金融）团队准备的。 世界银行财政与技术（TREFT）：保罗·斯奈斯，帕特里克·程，贾斯卡兰·辛格 世界银行技术和创新实验室(ITSTI:)YusufKaracaoglu,StelaMocan,MoraFarhad,MaheshChandrahasKarajgi,OleksandraPostavnicha,YujuanSun 世界银行公司采购：Sanjay Colaco, Shweta Mesipam SyntasaIncorporated：ShawnZargham，MichaelFinn，KyleWitt，JamesWilson，EricBugin，KareemSharaf，TedBlake GoogleCloud：RyanWright，RajatGupta Contents 缩写和首字母缩写v 执行摘要1项目背景3项目团队和赞助商4 研究方法5业务挑战范围6 第3部分：与GoogleCloud和Syntasa 与技术合作伙伴进行快速原型制作9解决方案概述和关键结果14技术方法(Syntasa)22 数字和表格 表2.16图3.1：Syntasa解决方案10图3.2：建模提及16图3.3：词云17图3.4：域源18图3.5：域和PDF来源19图3.6：趋势主题20图3.7：情感验证21图3.8：情感模型可解释性图3.9：解决方案体系结构23图3.10：数据和AI管道24图3.11：中文应用程序配置25图3.12：主题建模参数27图3.13：仪表板趋势短语28图3.14：情感可解释性29 21 Figure3.15:SentimentValidation30 图3.16：语言翻译性能32图3.17：PDF采购33 Figure3.18:SentimentExplainability34 图3.19：解决方案体系结构35图4.1：主题建模38图4.2：主题建模解释器39表4.1：情绪分析模型40 缩写和首字母缩写 缩写DescriptionJSONJavaScript对象表示法KPI关键绩效指标LDA潜在狄利克雷分配LLM大型语言模型LookMLLooker建模语言ML机器学习NLP自然语言处理NMF负矩阵分解OCR光学字符识别POC概念证明PoV价值证明RoBERTaBERT模型的变体RPA机器人过程自动化Saas软件即服务SmartFi智能金融SME主题专家TI实验室世界银行技术与创新实验室TRE财政部TREFT世界银行财政部金融技术部门UI用户界面VPC虚拟私有云 执行摘要 在当今快节奏的世界中，了解最新的金融技术新闻和趋势可能具有挑战性，这可以帮助为财务和运营战略做出决策。互联网上可用的信息和意见数量可能是压倒性的，并且过滤掉对业务用户最相关和最重要的内容可能具有挑战性。技术 不断发展；新的趋势和发展可能每天都会出现。为了应对这一挑战，世界银行财政部金融技术部门（TREFT）和世界银行集团技术与创新实验室（ITSTI）（以下简称“项目团队”）开展了一项框架工作，以探索新兴技术如何提供解决方案，以帮助用户访问策划，信任和相关的新闻来源，从而向他们通报热门话题的情绪。 ITSTI实验室遵循结构化方法，使用设计思维方法来了解最终用户的需求、需求和痛点。项目团队确定了关键主题和感兴趣的条款的示例列表；各种可信来源（包括开源和订阅内容以及社交媒体渠道）；以及感兴趣的地理区域，以帮助指导数据需求。该团队还进行了市场调查，以了解如何解决类似的问题，并建立在实验室知识的基础上。 在整个研究过程中，我们与最大的搜索提供商GoogleClod合作。GoogleClodPlatform(GCP)提供了一系列工具和服务，这些工具和服务有助于使用机器学习来获取新闻来源，例如云自然语言API来从新闻文章中提取实体、情感和见解，以及许多其他功能。我们还与GoogleClod的合作伙伴公司SytasaIc.合作。，该公司专门从事情绪分析，通过数据分析生成见解，并了解数字行为，为业务用户定制解决方案。 借助GoogleCloud提供支持的Syntasa，我们合作设计和创建了一个仪表板原型，为用户提供获得对情绪趋势的洞察，以便可以按主题和地区快速识别行为转变。我们创建的可视化工具还提供了自定义过滤器的灵活性，以快速访问可消化的FinTech主题，可以帮助用户了解最新趋势和他们所在行业的发展；发现新的机会；并做出明智的决定。 我们的合作为项目团队提供了机会，不仅可以探索潜在的解决方案，还可以向Syntasa学习技术公司蓝图和开发人工智能(AI)和机器学习(ML)原型，以扩展到企业采用。世界银行技术与创新实验室（TILab）技术团队与Sytasa和GoogleClod密切合作，了解数据科学家如何构建自定义AI/ML模型，并测试它们在透明度、问责制和合规性方面的准确性和可解释性，并确保AI系统使用公平、符合道德和安全。本报告概述了我们开发的解决方案的技术知识、价值驱动因素和功能。 项目背景 世界银行的财政业务，金融技术部门（TREFT）帮助领导财政部的技术进步计划，从构想阶段到开发，并与财政部业务部门和技术开发商密切合作，成功实施。 TREFT积极与本行业务部门合作，为资金业务业务中的业务用例确定和实施合适的技术解决方案，并通过 内部和/或现成的解决方案。这一过程需要不断审查银行的内部技术能力，并与现有的行业标准和新的市场发展进行比较。因此，对于TREFT来说，有选择地监控新技术趋势和解决方案，并随后确定它们是否适合改善资金运营非常重要。目前，这一过程主要是手动执行的，大量的人员时间和资源定期用于此过程。当前的一些挑战包括： 手动采购整合最相关和最翔实的FinTech新闻和事件是乏味的。跟踪市场讨论以及围绕着著名的金融科技主题和事件的公众情绪。有限的搜索范围在新闻来源方面，考虑到时间和资源的限制。确定真实性新闻来源、其主题相关性和潜在的主题分类。•••• 为了应对这些挑战，并系统地协调金融科技和技术新闻采购的过程，TREFT看到了一个独特的机会探索模仿人类方法的AI系统，以便快速有效地获取与特定业务部门感兴趣的主题相关的精选新闻。相关的机会来自于自动化量化相关性、衡量情绪和确定新闻来源后的偏见的过程。这可以通过反映人类策略来实现，以衡量文章的相关性，并确定其整体情绪和偏见，这一过程也可以通过人工智能方法得到支持。 鉴于这些机会的存在以及将这样的AI解决方案部署到国库中的多个用例的潜在好处，TREFT及其合作伙伴InnovationLab合作探索可以满足用例要求的内部和现成解决方案。 项目团队和赞助商 TREFT在所有机构项目，维护以及预算和计划周期中协调世界银行财政部信息技术基础设施的有效内部管理，确保其保持符合目的，最新，安全和可靠。该股还制定和维护与财政部在全球金融市场中的重要地位相关的适当战略技术规划，并利用这一地位建立内部和外部伙伴关系，以实现市场和发展效应。TREFT的技术计划包括领先的财政部参与大型系统更新和金融技术领域的新兴技术项目，如AI/ML，区块链，RPA和世界银行金融项目。 TI实验室是世界银行集团信息和技术副行长的一个专门部门，围绕三个主要支柱：创新、实验和能力建设。TI实验室与世界银行集团内的各个部门和单位以及外部合作伙伴密切合作，以确定可以应用新兴技术解决业务和发展问题的潜在领域。它的目的是协助。 世界银行集团(WBG)的业务团队参与问题框架、需求收集、数据准备、技术指导和原型交付，以帮助决策者评估投资是否值得投入运营。TI实验室的任务是边干边学，并在团队间分享知识，以实现持续创新。 SECTION2 研究方法 收集和策划与特定主题或一组主题相关的新闻文章的最有效方法是什么？ 方面有何不同？ 的见解？ 业务挑战范围 ThescopeofthePoCwasdeterminedbytheprojectteamincollaborationwithSyntasa.FoundationaldataandbasematerialwasprovidedasinputtotheSyntasateamasdetailedbelow: TREFT业务运营感兴趣的相关主题以具有以下结构的整体Excel文档的形式提供给Sytasa。开发了主要主题，并将各种子主题分类为主题，然后形成了相关的FiTech和与技术相关的关键字库。为了提供额外的过滤机制并考虑到主题的地理相关性，提供了额外的地理位置和区域列表，主题子主题产生更具体和相关的搜索结果。输入结构的简要示例可以在表2.1中看到，详细的概述在附录B中提供。 价值主张 以下是建议的解决方案的价值驱动因素： 了解行业趋势和新闻：允许用户及时了解金融和技术行业的最新新闻和发展，包括新兴趋势和主题。深入了解情绪趋势：允许用户快速识别特定主题或公司的情绪变化，提供对市场趋势和情绪的宝贵见解。监控合作伙伴:用户可以跟踪成员国、非政府组织、商业银行和其他合作伙伴的新闻和情绪，使他们能够随时了解他们的行动和战略。做出数据驱动的决策：对所需主题进行准确可靠的情绪分析，以帮助用户根据实时见解做出数据驱动的决策。节省时间和资源：用户可以节省原本需要手动搜索和分析新闻文章的时间和资源。••••• 仪表板中可以包含的支持这些值驱动程序的功能包括： 可定制的新闻源：用户可以自定义他们的新闻源，只显示与特定主题或关键字相关的新闻文章，确保他们只看到相关内容。情绪分析：灵活地按特定主题或跨地理环境的情绪进行过滤，以了解不同地区或行业对金融科技的反应实时更新：用户可以调整时间范围，以了解金融科技中的主题如何随时间演变或实时接收警报。可自定义的警报:用户可以设置警报，以通知他们与特定主题或公司相关的情绪或新闻的变化，使他们能够随时了解情况，而无需不断监控仪表板。与其他工具集成：仪表板可以与其他工具集成，例如交易平台或财务分析工具，允许用户直接从仪表板做出数据驱动的决策。 通过整合这些价值驱动因素和功能，通过情绪分析显示金融和技术相关新闻的仪表板可以提供有价值的见解，并为用户节省时间。 SECTION3 与技术合作伙伴进行快速原型制作 添加有关从GoogleCloudPlatform(GCP)平台学习的动机以及与技术合作伙伴一起设计原型解决方案的内容。 关于Syntasa Syntasa是一个基于云的数据和AI平台，使用户能够连接各种数据源，构建和部署自定义的AI/ML模型，并通过仪表板，数据共享和API跨各种渠道激活它们。Syntasa平台采用领先的开源技术构建，并由GCP服务提供支持。 Syntasa平台使用应用程序的概念（以及这些应用程序的排序）来加快实现价值的时间；提高可靠性和效率；并提供相对于本土基于云的投资回报解决方案。这些应用程序提供低代码或无代码到完整代码的功能，允许业务用户、分析师、数据科学家和数据工程师进行协作，并利用和分享他们的专业知识。 Syntasa平台在组织的GCP中本地运行，数据存储在GoogleCloudstorage和BigQuery中。组织可以将其敏感数据保留在其虚拟私有云(VPC)内部和防火墙后面，从而保持完全控制，同时利用Syntasa和GoogleCloud服务提供的大数据处理和AI/ML的先进功能。 Syntasa的功能使其成为快速原型制作的强大工具，使用户能够根据实时数据和见解快速迭代和完善原型。好处包括： 从低代码拖放界面和快速原型全码接口 集成的生产数据+功能+激活管道 协作、版本控制和自动化文档框架 对GCP基础设施的原生支持