TBDS新一代数据湖仓助力企业架构升级
主讲人：莫亦寒 01TBDS新一代数据湖仓架构 TBDS全新一代产品形态一套平台统一两种产品形态，服务全场景 TBDS全新一代数据湖仓架构 兼容自主软硬件生态，遵循开放标准，架构敏捷灵活，易扩展 云原生架构设计，极致弹性 混合负载 实时离线一体化，计算隔离无干扰，减少数据移动 集约成本 存算按需伸缩，智能调优，使用与维护成本低 轻，快，易用，安全 传统大数据平台挑战 全新升级解锁卓越优势 更轻 更快 技术复杂性高 资源成本高 •海量数据查询3倍提速•秒级启停，极致弹性•T+1升级为近实时 计算存储资源无法提前准确估算，成本非常高 需要数名资深工程师才能管理运维数据湖系统 更易用 更安全 •全面云原生，易运维•开放不锁定，易与生态集成•调优全托管、优化可观测 •多级多租户，隔离无干扰•数据与资源权限集中管控•全面强化5A安全体系 开源技术繁多，规范各异，企业难应对技术高速迭代挑战 ALL in One一站式全场景数据分析 数据中台敏捷搭建 丰富数据科学分析 02全新架构全新体验 统一数据管控面，实现全方位湖仓管理 Unified Catalog 统一数据管控面，旨在帮助用户快速构建和管理湖仓架构，实现全方位湖仓管理 统一数据/元数据管理视图 统一权限管控 平台智能优化 ✓集中权限管控，全域无缝访问✓精细化权限控制，安全合规无忧✓权限与Ranger生态互通 ✓智能数据和业务诊断，托管式数据调优，大幅提升性能，降低管理成本✓支持多种触发方式 ✓支持多租户和权限认证✓兼容HMS，与大数据生态天然融合 统一元数据服务 破局数据孤岛，实现数据高效共享与互操作 ➢统一的在线目录和数据模型，支持动态注册，可扩展支持湖/仓/数据库等多种数据源 ➢统一的元数据访问，提供多种接入方式，可扩展支持多种计算引擎 ➢直接元数据管理支持，实时性和一致性有保障 ➢企业级特性增强，支持多租户和访问控制 ➢生态友好，兼容HMS，与大数据生态天然融合 统一权限服务 安全策略集中管控，全局访问安全合规 ➢集中管控数据访问权限，一处配置，全局可享无差别数据访问权限体验➢提供DDL/DML操作及文件/目录/库/表/记录/列等精细化访问权限控制，安全合规无忧➢生态友好，权限与Ranger生态兼容互通 统一用户权限体系，实现平台CAM用户与集群账号的一体化管理，集功能、资源以及数据权限于一身，提供与CAM一致的用户操作体验，一处配置全局生效 跨集群虚拟计算服务 跨集群统一资源调度，实现安全稳定的虚拟计算 ➢全面支持国内软硬件生态，涵盖CPU、服务器、操作系统、数据库等，支持多租户模型下跨集群资源统一调度，对上提供统一资源池支持 ➢面向大数据、AI等场景提供特定工作负载调度支持，支持在离线混部以及灵活的调度策略选择 ➢无感弹性扩缩容支持，可支持秒级启停和扩缩容 ➢基于K8S原生能力实现，不锁定私有云设施 聚焦存算资源可观测、智能洞察诊断，易运维 横向维度拓展业务场景支持 纵向维度深挖系统运维优化 服务系统运维工程师，提供运维和资源洞察能力，提升集群稳定性和资源效率 服务数据开发工程师和业务分析师，提供更多引擎作业洞察能力服务作业提效 主动发现任务效率瓶颈，提升单点任务运行和资源效率，提升数据开发效能 任务诊断 03环境全面适配 全面信创合规支持 全面支持国产化软硬件生态，涵盖主流芯片、操作系统、服务器、数据库、国密、IPv6等领域。 云数一体融合让大数据存算随“云”触手可及 云数一体是指大数据平台与云平台相结合，大数据平台可以借助云平台的云虚拟机、云存储、容器化底座、用户体系、运维监控、网络安全等基础能力实现云底座、大数据之间多种能力的融合统一，降低大数据建设及使用成本。 04企业数据架构升级实践案例 某头部保险公司湖仓架构助力客户大数据平台全场景升级 客户业务问题 保险行业排名前列标杆客户。从23年6月攻坚，针对统一数据湖、实时分析、***等诉求进行有效响应，与友商PK中最终获胜，于24年5月签订合同。 多数据源分析，数据多份存储 Hive跑批T+1时效低 ClickHouse并发低，跨表复杂分析能力弱 客户价值 【统一数据湖】助力客户实现大数据湖(CDH\CDP\华为)统一：Iceberg+SR湖仓架构符合客户对技术先进性的长期要求【近实时分析】核心业务（客户经营、监管报送、数据BI、智能应用）时效由T+1、小时级升级为分钟级；同时支持客户上线更多实时业务（营销活动平台于24年4月顺利启动上线）【湖资产治理】湖仓数据通过WeData数据资产平台，从数据集成、开发、治理到数据资产盘点、资产运营全链路无缝贯穿 保险行业首个国产化数据湖仓一体落地实践，在TBDS+SR湖仓融合领域积累了首例宝贵案例 某头部股份制银行让大数据存算随“云”触手可及 客户核心诉求 TOP3股份制银行，是中国十大银行品牌之一，某行大数据集群4000+节点，我司从22年开始接触客户，经过50次+内外部案例方案交流、最终在与多个友商的激烈竞争中胜出。 版本开放、湖仓能力双方联创 方案架构 我们的解决方案（利旧、升级） 客户价值 【全栈国产化】从硬件、大数据平台到上层行内应用全面实现国产化产品升级，并且大数据平台26年可实现全行统一【可控+安全合规】大数据平台不被厂商绑定，信创资源下的数据隔离、数据安全治理、数据容灾能力全面满足监管【技术先进性】4000+节点下的技术规模瓶颈得以突破，云原生湖仓技术可满足行内全场景的业务诉求 国产化大数据平台的全方位能力（CDH替换、多芯、国密、容灾、湖仓一体)业内最优，政务/金融等行业的信创升级首选方案
