AI改变数据管理理念
AI时代,数据应用的思路正在改变,从传统的手动分析转向AI主动洞察与决策预测。2028年,33%的企业将采用AI-powered analytics进行决策,而2024年这一比例尚不足1%。传统数据分析流程(如保险产品开发)涉及手动提取数据、运行脚本并生成报告,依赖个人经验制定策略;而Agentic Analytics则通过AI Agent自动连接数据湖、生成预测并提供建议,实现半自主或自主决策。
数据平台厂商演进路线
海外数据平台厂商如Snowflake、Mosaic AI等,通过引入AI Agent(如Snowflake Cortex)和工具(如VectorSearch、DataAgents)提升数据管理智能化。Mosaic AI专注于Agent平台建设,提供Agent Framework、Evaluation、Playground等模块;Snowflake通过Cortex、ML等AI套件实现数据理解、任务规划和执行。
腾讯内部Data+AI实践
启动:构建人与AI理解的数据资产体系
腾讯通过领域模型建立业务需求、行业知识、数据结构之间的资产纽带,确保资产可被AI理解。重点包括:
- 资产运营&效率工具:通过特征资产运营、数据工程Agent等提升效率。
- 治理建议:特征资产运营根据ROI迭代优选,数据工程Agent自动解析和沉淀治理评价。
建设:多Agent协同沉淀资产
采用多智能体架构,将Job分解为Task,AI与人协同完成,覆盖从需求到交付的全链路。关键节点包括:
- 用户需求:通过大模型生成SQL,多轮对话修订需求。
- 资产召回与沉淀:SQL校验、知识图谱搜索、需求改写等。
- 数据工程Agent:主动治理开发过程,沉淀治理评价。
运营:分层运营与主动治理
通过需求规范、库表资产优化、湖仓一体平台等手段,实现分层运营和主动治理:
- 需求规范:定义需求格式、分类和质量识别。
- 库表资产:完善元数据管理,优化计算效率。
- 特征资产:通过增删改查和相似度识别优化匹配准确率。
腾讯云Data+AI方案
数据分析Agent
当前问题:用数门槛高、问数准确率低。解决方案:
- 降低用数门槛:通过自然语言转SQL能力提升用数覆盖范围。
- 提高问数准确率:通过数据解读、波动归因能力提升数据价值挖掘效率。
数据工程Agent
当前问题:开发人员水平不一致、规范约束力弱、分类分级难度大。解决方案:
- 提升开发质量:通过智能知识库、代码辅助提升规范执行力。
- 数据分类分级:基于AI技术提供高效稳定的数据安全识别和风险监测。
OneOps一体化
当前问题:数据安全问题、资产不完整、交互效率低。解决方案:
- OneOps平台:实现DataOps、MLOps、AIOps一体化工作流。
- 统一元数据服务:解决数据安全、效率和资产管理痛点。
多模态统一元数据
当前问题:多模态数据分散孤岛化、AI模型应用落地障碍。解决方案:
- 大数据智能管家:实现多模态数据统一管理和AI模型通信标准化。
大数据智能管家
当前问题:运维门槛高、预警信息繁杂。解决方案:
- 降低运维门槛:通过智能化预警和根因分析提升运维效率。
未来展望
技术回归本质,AI成为数据管理团队的智能伙伴,实现全域数据入湖和多模态数据融合。