罗雷_腾讯音乐-融合 ChatBI 与 HeadlessBI 新一代数据分析平台实践

罗雷腾讯音乐架构师 DataFunSummit#2024 数据分析平台现状 架构演进思考 ChatBI与HeadlessBI融合实践 未来展望 01 数据分析平台现状 业务团队痛点 • SQL学习门槛高•业务难以理解复杂的库、表、字段信息 •看板不灵活，难以满足复杂、灵活的需求•开发效率低 •学习门槛较高 业务团队诉求 当前模式：数据团队保姆式服务 由业务团队向数据团队提需求；数据团队排期、写SQL、制作报表；业务方再从报表中取数； 将数据主动权交到业务团队中；业务方可以自由、灵活的进行可视化分析 数据团队痛点 •口径无法统一：指标定义散落在各数据集，逻辑不一致 •指标无法复用：指标重复且分散，无法统一对接应用系统 •指标治理困难：无法统一治理，定义大量数据集、权限冗余等 02 架构演进思考 引入HeadlessBI：解决数据治理问题 指标口径统一、指标可复用、权限可控、易于治理 HeadlessBI架构设计 -基于库表字段定义语义模型 定义纬度、指标、模型等语义对象 -引入语义查询语言S2SQL SELECT纬度名, SUM(指标名)FROM模型名WHERE纬度名1=xx GROUP BY纬度名2 -将S2SQL翻译成物理SQL SELECTfield1, SUM(filed2)FROMtable1WHEREfield2=xx GROUP BYfield1 主题域/模型 引入Chat BI：解决业务易用性问题 问答模式 基于大模型问答交互带来全新的服务模式 自然语言 零门槛，支持语音、快速上手 自由探索 个性化，灵活表达 界面统一 集中式，多端统一 随问随答 7x24小时，秒级回复 当前基于Chat BI查询存在的问题 Chat BI 问题 Question + Prompt Physics SQL 发现创新点：融合chat BI+headless BI 发现创新点：融合chat BI+headless BI 03 ChatBI与HeadlessBI融合实践 融合ChatBI+HeadlessBI初始版本 Chat BI Headless BI Question + Prompt Physics SQL S2SQL Schema Mapper:提升语义实体识别准确性 QueryFilterMapper：支持CopliotChat模式 Semantic Corrector:解决大模型幻觉问题 记忆管理：持续学习领域知识 引入Agent：解决复杂数据需求 核心要点 •将Mapper、Parser、Corrector、Semantic Layer作为Text2SQL内置工具•整合三方服务：外部服务以工具方式动态注册到系统，并以Agent方式提供服务•数据团队可以聚焦于开发数据工具•增加数据解读，业务无需导出数据自行解读 抽象核心组件+SPI机制：解决框架扩展性问题 •快速功能迭代，对组件做隔离开发和测试•特定场景拓展，对组件自定义开发和配置 SuperSonic开源项目 https://github.com/tencentmusic/supersonic 融合Chat BI（powered by LLM）和Headless BI（powered by语义层）打造新一代的BI平台 04 未来展望 未来展望 Headless BI Chat BI l结合移动端和语音转文字技术主打便捷性 l持续推进血缘构建、物化加速等方面的建设 l集成更多数据工具，并优化召回准确率，以拓展更多场景 l探索借助LLM智能建模，降低人工建模成本 THANKS