数据湖计算DLC产品介绍

数据湖计算DLC产品介绍

行业趋势及挑战

• 传统数据库：以面向事务交易场景为主，数据分析能力有限，扩展性差。
• 数据仓库：随着数据分析需求增大而出现，但硬件资源弹性、数据类型多样性及数据挖掘方面面临挑战。
• 现代数据湖仓：兼具数据仓库和数据湖的优势，全面覆盖大数据分析场景，但传统架构存在数据冗余、口径不一致等问题。

数据湖计算DLC产品介绍

• 产品概述：数据湖计算DLC是基于Spark、Presto、Iceberg构建的云原生Serverless湖仓分析服务，具备存算分离、资源弹性、开箱即用、托管运维、自研内核增强等优势特性，灵活覆盖离线/近实时分析、交互式查询、跨源联邦分析、数据科学等大数据场景。
• 产品功能与特点：
  • 下一代LakeHouse架构：全面覆盖湖场景（大模型数据预处理、数据科学）和仓场景（离线/近实时分析、交互式分析）。
  • 湖仓双引擎：配备自研增强Spark引擎+Presto引擎，一体化分析湖仓融合数据。
  • 统一湖存储服务：基于Iceberg湖格式实现湖仓统一存储，支持事务性操作，确保数据准确性和一致性。
  • 数据统一治理：自研数据优化服务解决数据湖在大规模应用上的数据沼泽问题。
  • 实时极速分析：自研数据优化服务支持百万级QPS实时入湖，端到端分钟级时延；自研加速层通过三级缓存结合自适应Shuffle大幅提升查询效率。
  • 极致性价比：云原生存算分离架构，计算和存储均按需使用，支持按量弹性付费，综合降本50%+。
  • 开箱即用：云原生Serverless产品形态，一键部署，免底层运维，统一接入点、数据智能优化等产品能力，无需维护复杂组件。

数据湖计算DLC应用场景

• 离线/近实时数仓分析：分散在不同系统中的数据统一查询，统一元数据管理，极速联邦查询。
• 数据科学：容器化部署，按需弹性，随用随走，Serverless免运维，支持Python作业，提供内置机器学习包和自定义镜像。
• 联邦查询：多源异构数据联邦分析，打破数据孤岛。
• 交互式数据湖探索：白屏化操作，使用标准SQL即可，各类业务指标灵活的交互式查询和数据探索，领先的多级缓存加速技术，排队并发模型提升查询效率。

客户成功案例

• 某新能源汽车客户-车联网数据分析：查询效率大幅提升，运维效率大幅提升，成本节约。
• 某教育行业客户-高性能联邦分析（高途）：综合运行成本降低50%+，运维效率大幅提升。
• 某游戏客户-基于DLC构建低成本数仓：数仓搭建效率大幅提升，亚秒级高性能分析，综合成本下降70%+。
• 某电竞直播-基于DLC数据湖计算实践：算力资源节约30%+，湖计算性能提升35.5%，综合运行成本降低50%+。
• 某传统企业-基于WeData+DLC的数据入湖分析实践：全链路一站式调度和集成，任务调度能力增强，实时入湖快速灵活部署。
• 腾讯内部某业务-实时数据湖建设：秒级查询、分钟级数据分析，实时应用效果提升。

产品路线图

• AI大数据基座2.0：从Lakehouse 1.0向批流一体演进。

产品接口人

• 产品经理接口人：chasecyang（杨灿）、godottchen（陈晓靓）、phoebezheng（郑春乔）。