行业研究公司研究宏观策略财报招股书会议纪要 seedance2.0 低空经济 DeepSeek AIGC 大模型

1-1 阿里云大数据成本优化实践 - 杨伟

信息技术 2022-09-15 DataFunSummit2022：数据治理在线峰会 Hallam贾文强

阿里云大数据成本优化方案

阿里云大数据成本优化方案：云原生一体化数仓

背景：Hadoop生态组件繁杂，集成、运维、迭代更新难度大，技术栈复杂，学习成本高，缺乏治理工具，人才培养难。
解决方案：拥抱云原生一体化数仓，简化平台运维，提升服务能力，加速价值实现。
核心产品：DataHub、DataWorks、Hologres、实时计算Flink版。
架构优势：
- 离线实时一体：MaxCompute和Hologres极简架构，提供离线实时一体化海量云数仓服务，10X性能高速原生互访，快速查询能力。
- 湖仓一体：提升湖仓开发体验，支持非结构化数据管理，广泛支持开源生态对接。
- 分析服务一体：数仓实时化、敏捷化、在线化、一体化，实现灵活探索式分析和高并发在线应用查询，减少数据割裂。
- 全链路数据治理：面向业务视角建模，问题驱动可持续治理，DataWorks开放平台升级。

增效篇：云上大数据与开源对比

云原生一体化数仓VS开源组件方案：
- DataWorks：全链路数据开发与治理平台，提供全域数据集成、可视化建模、任务编排运维、数据治理、数据服务等功能。
- MaxCompute：高性能存储计算引擎，五次突破世界记录，支持标准SQL，多分析场景支持，弹性与性能优势明显。
- Hologres：高性能实时数仓引擎，亿级数据亚秒级查询，高并发在线查询，实时存储和写入，PG生态兼容。
- DataWorks：提供统一的开发治理平台，规范设计数据开发，开放平台，开放接口，扩展点，与大数据引擎组合降本。
DataWorks智能数据建模：为数仓建设提供规范化和标准化保障，支持数仓分层、数据域、业务过程定义，数据标准定义，可视化数仓维度建模，指标设计。
MaxCompute内置金融级数据安全能力：保障企业数据和服务安全，提供系统安全访问控制、数据安全、存储加密、风险管控、实时审计日志、异地容灾与恢复等能力。
Hologres结合MaxCompute提供企业级安全能力。
DataWorks安全能力：成员管理、身份鉴别、授权管理、审计管理、风险管理、租户管理等。

降本篇：引擎与数据平台降本

MaxCompute：
- 高性能存储引擎：存储成本节约20%-33%，计算效率提升30%-40%，ZSTD高压缩算法，自动冷热分层存储，成本更低。
- 高性能计算引擎：支持标准SQL，离线、近实时分析、交互式分析，TPC-H指标领先Spark3X以上。
MaxCompute提供多种灵活的资源使用方式：带来TCO最低，不同业务场景下对资源不同的使用。
Hologres：
- 高性能的实时数仓引擎：10亿+/秒写入，亿级数据亚秒级查询，双11.45亿亚秒级查询，高并发在线查询QPS，高性能点查询1.3亿TPS。
- 共享存储多实例：减少数据冗余，加速数据分析与服务，资源隔离，高可用，按需扩展。
DataWorks为大数据引擎提供统一的开发治理平台：“好马配好鞍”，无木桶效应的降本组合。
DataWorks数据治理中心：
- 功能：数据治理量化评估模型，数据治理问题预防/检测，数据治理问题优化/解决。
- 量化评估：基于阿里巴巴内部最佳实践，以问题驱动，事前预防、事后整治，形成治理闭环，构建数据治理健康度评分模型。
数据治理中心的正确降本方式：量化评估，治理改进，长效运营。
数据治理中心的正确降本方式：
- 内置检查项：研发规范、数据治理、数据安全、计算资源、存储资源内置检查项，对于治理问题的新增引入自动预防拦截。
- 自定义数据治理：基于DataWorks开放平台拓展新增自定义检查项，允许自有系统与DataWorks进行深度对接，对处理流程进行自定义拓展。
DataWorks数据治理中心：以人为本，面向管理员和普通成员提供不同视角，简化治理推进难度，以个人治理带动全局治理优化。