海光DCU加速金融大模型落地实战

金融机构IT驱动力 金融行业AI主要落地场景的发展状况 金融行业AI实践第三阶段关注要点 ⚫国产芯片迎来广阔的市场机会⚫国内AI加速器芯片百花齐放⚫用户普遍缺乏对国产芯片认知忽略软件生态缺乏落地经验不考虑实用性只讲标称算力缺乏迭代能力缺乏造血能力缺乏技术支撑能力 标称算力只是冰山一角 ✓应用生态第一 ✓量产与技术可持续性 ✓可持续发展 才是真正的硬实力！ DTK全面升级-100%API覆盖 ✓Pytorch等原生接口无需转换 DCC编译器 运行时系统 基础数学库 适配最新架构/支持内嵌类PTX /持续优化 API覆盖率100%/通讯库优化/问题自排查 适配两代产品/全兼容/性能优异 DAS紧追前沿-全栈优化 ✓无需重复学习新技术栈 光合开发者社区 开发者社区 社区网址 https://developer.sourcefind.cn/ ⚫面向AI、科学计算学习者的学习、交流及实训平台： ⚫光源：AI模型仓库平台，涵盖大量热门领域模型，如DeepSeek，Qwen等。也可在“镜像仓库”下载基础镜像，快速搭建模型运行的基础环境。⚫开发者工具：DTK、DAS、DAP、科学计算应用最新版本发布平台。⚫实训平台—体验免费超强算力、从0开始学习⚫论坛--交流答疑平台，行业专家分享⚫最新活动：发布任务招募、大型赛事及基金申请等信息 海光信息——推动金融业务数智化变革的驱动力 千卡集群落地案例 机柜：IB交换机 BW1000服务器 机房 ➢Leaf：两个机柜 •电源：6（DCU模组）+2（CPU主板）•NIC计算：支持8*200G•NIC存储：支持2*200G（BF3，当前配1*200G）•网卡：千兆*2（登录+BMC） •单机柜：8*计算+1*存储 •BW1000：128个机柜（单个机柜10KW供电）•IB交换机：3个机柜•登录管理+存储+管理/监控网交换机：1个 ➢Spine：一个机柜 •单机柜：8*计算 大模型业务场景分析 5X性能提升 Codewise-7B10X性能提升 44.65%性能提升 ADP原子能力 改写EmbeddingRerankerOCR 中科海光开放拥抱生态 谢谢！