Frugal AI Hub White paper: APPLICATIONS OF FRUGAL AI IN THE FINTECH INDUSTRY
本文探讨了低成本 AI(Frugal AI)在金融科技行业的应用,重点关注如何实时衡量欺诈检测中的人工智能系统的总拥有成本(TCO)和投资回报率(ROI),并将能源消耗和排放纳入考量。
核心问题:金融科技行业缺乏标准化的方法来衡量 AI 系统的完整成本,包括财务和环境维度。现有的成本核算方法通常忽略了能源消耗和碳排放,导致 AI 投资决策基于不完整的成本信息。
研究目标:
- 如何全面定义金融科技中 AI 系统的 TCO,同时保持其实用性?
- Frugal AI 优化如何改变 ROI 前景?
- 如何将这些指标与联合国可持续发展目标(SDG)对齐的报告联系起来?
研究方法:
本文结合定性和定量方法,以实时信用卡欺诈检测系统为代表性用例,将 Frugal AI 指标整合到 TCO 中。TCO 被定义为四个组成部分的总和:开发成本、运营成本、能源成本和碳成本。
Frugal AI 成本模型:
- 开发成本(Cdev):受模型复杂性、再训练频率、自动化和重用等因素影响。
- 运营成本(Cops):反映基础设施效率,可通过弹性扩展和利用率优化降低。
- 能源成本(Cenergy):源自计算强度和运行时间,可通过模型压缩和高效架构降低。
- 碳成本(Ccarbon):将工作负载能源消耗产生的排放足迹货币化。
Frugal AI 优化机制:
- 开发效率:迁移学习、模型重用、自动化 CI/CD 部署、模块化架构等。
- 运营效率:自动扩展推理端点、调整实例类型、批量推理合并等。
- 能源效率:模型量化和剪枝、高效架构选择、硬件加速等。
- 排放减少:降低计算强度、碳感知调度、低碳区域部署等。
案例研究:
通过对一个真实案例的建模,结果表明,与基准 AI 系统相比,Frugal AI 系统能够:
- 降低 TCO 17.0%(从 $49,741.80 降低到 $41,266.01)。
- 提高 ROI 24.6%(从 5.03 倍提高到 6.27 倍)。
- 减少 44% 的能源使用和碳排放。
Frugal AI 遥测:
为了使指标具有可操作性,需要收集和归因相关数据。建议利用现有的云原生工具,例如云计费 API、CloudWatch 指标、Prometheus 等,通过项目/模型标签实现成本和利用率归因。
与 SDG 的联系:
Frugal AI 的效益可以与多个 SDG 对齐,例如:
- SDG 8:保护经济生产力(减少欺诈损失)。
- SDG 16:加强机构信任(系统完整性)。
- SDG 9:改善数字基础设施韧性(基础设施效率)。
- SDG 13:降低排放足迹(能源减少)。
- SDG 12:减少资源浪费(计算资源生产力)。
结论:
Frugal AI 可以通过将能源和碳排放纳入 TCO 计算来提供更全面的 AI 性能衡量标准。金融科技从业者可以将 Frugal AI 纳入现有的风险、投资和模型治理流程中。该框架展示了如何利用现有云原生工具实现项目级的能源和碳排放报告。该方法论可推广到其他 AI 驱动的服务和其他具有类似性能和合规约束的机构。