模型时代金融大数据构建

GenAI时代数据分析方式发生极速变化数据分析师数据平台使用对象的演进路径是一种数据分析过程，通过在Data-to-Insight的工作流程中应用AIAgent，以半自主或自主的方式协调任务，朝着AI主动洞察&决策预测，2028年33%的企业会将AgenticAI现在Analytic toolshelp peopleand businessmake decisions.每年初的开门红活动中，当一个分析师希望优化库存管理…①手动提取销售数据、运行分析脚本并生成报告②基于报告，及个人专业经验，判断该如何优化库存AgenticAnalytics 的目标推进。用于分析和决策，而2024年这个占比不及1%未来AI-powered analyticsmakes decisionsthat help peopleand business.①“分析最近三个月的销售趋势并预测下季度的库存需求。”②Agent自动连接到销售数据库，调用AI模型生成预测，并以可视化图表的形式呈现结果。③Agent还能主动提出建议，比如“根据趋势，建议增加A产品的库存，同时减少B产品的采购量。” GenAI时代数据生产 GenAI时代数据应用场景发生变化传统数据平台典型应用场景在一份数据基础上，支持离线处理和AD-Hoc业务负载BI看板&离线报表分析师精心处理、分析而形成的“固定“数据洞察离线数据处理（ETL）数仓分层&数据预处理交互式分析毫秒级实时数据AD-Hoc分析一体化场景延伸高效实时智能化 核心能力：自然语言查询NL2SQL交互方式从SQL到自然语言交互分析用户可通过自然语言描述，快速查询分析数据，无需SQL相关的专业培训与学习多轮对话接着 上文继 续提问 ，能结 合上下 文回答智能追问提问 太模糊 时智能 追问， 澄清意 图输入联想简单 输入关 键词， 快速找 到想要 的提问猜你想问智能 推荐相 关问题 ，持续 分析不 间断 自然语言问题 核心能力：AISearch用户可通过自然语言描述，快速查询分析数据，无需SQL相关的专业培训与学习•企业知识文档格式多样需良好多模态处理能力•严谨场景应用下，知识问答要求准确率要求高知识检索难度大，包括多文档组合知识检索、大表格、不规则表格检索等业界难题严肃场景，对模型判断模糊知识、无关知识能力要求高关键需求【企业级AISearch需求】挑战一：多模态检索难度大挑战二：准确率要求高 您的业务数据用户搜索词企业私域数据文档DeepSeek+RAG方案，全链路解决复杂文档解析、切分、检索、阅读理解与生成 解决方案：一站式AISearch+公共互联网数据转换后的问题上下文窗口ES分布式数据节点一体化数据平台文本文本检索向量检索自定义模型上传CPUCPUCPU 最佳答案图片书籍 数据不仅仅是AI的“燃料”，更是决定模型质量的关键因素。从专注于模型改进向确保数据质量和可靠性实现根本性转变，围绕训练数据开发、评估数据开发以及数据维护来提升数据质量以提高模型性能。 核心能力：新一代数智开发平台在一份数据基础上，支持多种大数据及AI业务负载，帮助企业有效简化架构，提升数据分析效率现在：多种工作负载下的烟囱式架构批处理交互式查询流式处理数据科学数据拷贝数据拷贝数据湖存储数仓存储机器学习平台存储开发成本高系统复杂度高挑战............ 未来：Data+AI一体化架构LLM优势简化架构Virtual WarehouseStream IngestionVirtual WarehouseBatch ExecutionCompaction批处理|交互式查询|流式处理|数据科学|LLM... 趋势3：智能化大数据自治系统AI-Driven的系统交互、资源管理与运维管理功能，显著提升数据平台易用性、系统效率与运维效率智能查询优化用户查询分析预测模型智能资源预测智能负载感知多虚拟集群计算资源基于AI的负载感知与弹性资源规划资源利用率最大化，降低客户资源成本更智能的资源管理 弹性资源池资源调度AIOps实现运维“自动驾驶”基于传统ML模型与DeepSeek，实现系统自动检测、分时序预测基础数据MetricLog大数据自治底座 析和调优等任务，无需人为干预更高效的系统运维异常检测参数调优自治智能体Event底层依赖Deep Seek+混元Poweredby ... 核心能力：存算独立扩展计算层存储层腾讯云COS统一存储加速层Logical Data Lake公共层Metadata Service支持多厂商Hadoop数据系统和对象存储，兼容客户现有投资 •存算按需伸缩，高度弹性•存算故障域相互隔离•计算层无状态，扩容时无需数据重分布•支持数据共享，无需搬迁•计算引擎支持多版本，方便升级与回滚•不锁定组件和厂商，计算插件化，存储多样化，支持多厂商Hadoop数据系统和对象存储•基于对象存储原生实现分布式文件系统，兼容POSIX、HDFS和S3协议•提供统一的元数据服务和存储缓存加速机制 核心能力：元数据统一管理统一数据/元数据管理视图✓支持多租户和权限认证✓兼容HMS，与大数据生态天然融合统一数据管控面，旨在帮助用户快速构建和管理湖仓架构，实现全方位湖仓管理 Unified CatalogData Lake统一权限管控✓集中权限管控，全域无缝访问✓精细化权限控制，安全合规无忧✓权限与Ranger生态互通 ✓调优全托管，优化可观测，大幅提升性能并降低管理成本✓支持多种触发方式（周期/按需/条件） 数据智能调优 总结与展望开放和融合的新一代数据智能平台架构，结合DeepSeek等全球领先的基础大模型能力，共创Data+AI新生态已成为企业的新时代 数据智能平台是企业提升生产力的企业私域数据资产开放的一体化数据智能平台+让传统数据分析和GenAI应用的开发变得更轻快易用数据资产「石油」 「炼油厂」 Thanks感谢您的聆听