腾讯云大数据TBDS释放数据应用高潜力

腾讯——全球领先大数据技术与实践 对外开放腾讯业界领先的大数据技术实践 大规模运营技术海量算力调度技术丰富运维工具沉淀 企业级数仓与数据湖用户画像精准推荐ABTest实验平台 全新一代TBDS——升级云原生Lakehouse架构 全新一代TBDS——平台核心优势“轻，快，易用，安全” 全新升级解锁卓越优势 传统大数据平台挑战 更轻 更快 资源成本高 技术复杂性高 •技术栈统一、聚焦•架构敏捷，存算按需伸缩•无服务形态，一次部署随开随用 •海量数据查询3倍提速•秒级启停，极致弹性•T+1升级为近实时 计算存储资源无法提前准确估算，成本非常高 需要数名资深工程师才能管理运维数据湖系统 技术抗风险能力弱 运维配套设施匮乏 更易用 更安全 •全面云原生，易运维•开放不锁定，易与生态集成•调优全托管、优化可观测 •多级多租户，隔离无干扰•数据与资源权限集中管控•全面强化5A安全体系 迁移、容灾备份、监控、异常告警等运维设施匮乏 开源技术繁多，规范各异，企业难应对技术高速迭代挑战 全新一代TBDS&WeData——平台核心优势“全栈国产” •已收录进《XC技术图谱》产品库• 国密算法软模块符合商密一级要求• KM4密钥管理符合商密二级要求 已落地某国有大行、兴业银行、国泰君安期货、中信建投证券等XC项目。 全面支持国产软硬件生态，涵盖主流芯片、操作系统、服务器等领域。 全新一代TBDS&WeData——“计算&开发全链路安全” 【WeData】全链路敏感数据智能治理 •【监管合规】：敏感数据扫描、分类分级，脱敏加密。 •【业界认证】：首批获得信通院数据安全分类分级认证。 •【智能快速】：智能分类，无需数据迁移即可开始安全治理 【TBDS】5A安全体系升级 •认证：全面Kerberos认证体系•隔离：多租户数据安全和合规•加密：支持SM4算法，kms商密证书•授权：支持文件，任务，表，列等细粒度权限控制•审计：全流程，全覆盖的操作和日志审计 全新一代TBDS&WeData——全栈国产大数据项目案例 证券业首个国产大数据平台 云数融合国产大数据平台 基金行业采用国产大数据平台实现核心系统替换的首个案例 国有银行金融大数据解决方案，入选“年度信息技术应用创新解决方案”典型案例 全新一代TBDS&WeData——数据价值转化加速 数据治理 数据开发 •结合TBDS湖仓存算引擎提供“可视化、轻便、高效”数据开发。 •包含数据规划/资产/质量，治理过程“简单配置、自动治理”。 •从源头解决数据不规范、不安全、不准确、不节省。 •一站式解决组件选型多、计算逻辑复杂，解决大数据开发效率。 全新一代TBDS&WeData——平台易用性显著提升 TBDS：聚焦存算资源可观测、智能洞察诊断，易运维 WeData：Data + AI：突破开发&治理效能，提升产品智能化易用性，释放数据生产力 腾讯云BI——大模型对话式ChatBI，易用性显著提升 大模型发展催生新一代智能化BI，自然语言直接提问，腾讯云BI智能识别语义并输出图表结论，小白也会数据分析。 一次性分析临时制作报表效率低 小白用户数据分析上手门槛高 行业案例——太平人寿准实时湖仓实践 太平人寿隶属于中国太平保险集团有限责任公司，总资产超6000亿元，是保险行业排名靠前的标杆型客户，客户预建设面向全公司级统一数据平台，具备承载全司核心业务计算能力，重点关注基于数据湖仓的离线计算、实时分析、数据开发治理等场景。 建设内容 •全面XC支持体系：大数据平台国产化环境兼容，以及构建数据脱敏、加密、审计在内的健全安全体系•湖仓方案全新升级：原有基于Hive、Flink的分离数据链路改造成基于Flink+iceberg+Starrocks的湖仓一体平台•全新湖仓管控平台TBDS-Manager 建设成果 •当前集群规模200+，持续快速扩容中•全链路数据开发治理平台，每日任务数10000+•基于StarRocks准实时分析以及基于Iceberg湖仓一体离线分析场景，原有小时级分析场景提升至分钟级 行业案例——国内最大信息技术融合创新项目 自主创新 超大规模 •汇聚任务：目前8W+/日，全量上线后30W+/日•加工任务：10W+/日•数仓集群20套+，总节点1000+，2PB+数据 •操作系统、云平台、数据库、大数据平台全腾讯自研产品•云平台+大数据超1万节点，国内最大XC案例 计算、加工任务复杂，对稳定性要求极高 数据量大 多源异构数据分析，包含TCHouse、Oracle、Vertica、GuassDB等类型，范围覆盖全国36个省市 •实现总局+36省大数据全栈XC落地•总局全面支撑可信业务、全电业务、应用支撑、业务风险分析、评估，等众多重要应用 Thanks