阿里云：2024阿里云开源大数据Workshop 杭州站

核心观点与关键数据

AI 驱动大数据爆炸式增长

• AI 进一步推动数据量爆炸式增长，远超以往数据增长速度。
• 数据多样性提升，多模态数据处理成为未来数据处理的标配，涵盖存储、计算和管理。

阿里云开源湖仓屋解决方案

• Fusion Spark 引擎：
  • 100% 兼容开源 Spark，性能提升 3 倍。
  • 支持 Native Engine，IO 密集型应用吞吐提升 1.5 倍。
  • 企业级远程 Shuffle 服务（RSS），弹性更好。
  • 丰富的 Open API 供集成，100% 兼容开源使用。
  • 一站式数据工程支持，可视化作业和工流程监控。
• Serverless StarRocks：
  • 高性能、全场景数据湖屋分析服务，性能比传统 OLAP 快 3 倍。
  • 支持 MySQL 协议，兼容多 BI 工具。
  • 高并发支持（10k persec），实时数据分析。
  • 多维数据模型支持，支持 Materialized Views 和 ETL。
  • 全托管服务，高 SLA 保证。

Apache Paimon 与开源及自研计算引擎

• Open Lake：一套存储对接全生态。
• Paimon + 开源大数据：
  • 共享存储，计算平权。
  • 流批一体，实时升级。
  • 实时离线，极速查询。
  • 支持多表数据打宽、流写更新入湖、主键表高性能更新等。
• DLF 打通自研计算引擎：
  • 支持 MaxCompute External Schema 和 Hologres External Database。
  • 即将发布内置 Paimon、Native 加速、DeletionVectors 支持、ALIORC 格式、批写支持等功能。

阿里云实时湖仓及 Flink 产品技术

• 实时湖仓发展趋势：AI 驱动，公共云优先，实时化、AI 化。
• 基于阿里云实时计算 Flink 构建：
  • 低成本 OSS 存储构建 Paimon，深度集成 Flink 全链路实时化。
  • 核心优势：低成本全链路实时化、流批存储计算统一、一站式平台支持。
  • 适用场景：离线全链路实时加速、实时链路降本、流批存储计算统一。
• 典型落地架构及案例：
  • 案例：国内出行知名互联网企业，通过 Flink + Paimon + StarRocks 解决方案，开发效率提升一倍，每年节省存储成本，查询效率提升 3 倍。

Flink + Paimon + Hologres 生产实践

• 产品背景：提供 AI 领域 E2E 的 ETL 数据处理解决方案。
• 解决方案举例：搜索离线平台，支持 1:1、1:n、n:1 业务开发模式。
• 生产作业调优：
  • 同步层全量优化，释放吞吐，支持全天 24 小时拉取，减少 TDDL 表拉取次数。
  • 按 Hologres 分 Sharded 规则自定义 Partitioner，减少网络连接。
  • 尝试 Hologres 起无 WAL 和 Memory Table 的任务，保证资源隔离。
• 社区合作：积极参与 Paimon 社区，贡献多个 PR。
• Future：Open-Lake、湖仓一体。

MC 湖仓一体实践及开源开放生态融合

• 联邦计算构建基础湖仓能力：
  • 连接外部数据源，解决数据孤岛和维度表导入问题。
  • 统一内外表，提供统一接入 API。
  • 统一元信息，开放存储和计算生态。
• 全栈优化外表性能：
  • ORC 复用 AliORC 能力，提升性能。
  • NativeReader 基于 Parquet/Arrow 实现，增强 PPD。
  • Stats 优化，提升查询性能。
• 高效分析非结构化数据：
  • 支持非结构化数据入湖，满足 AI/ML 需求。
  • 优化 Splitting 算法，提升性能。
  • 支持通用函数和 AI/ML 函数，集成外部 AI 服务。
• 多引擎间平权，开源开放融合新架构：
  • 支持多种数据格式和计算引擎。
  • 打通自定义镜像和自定义计算。

阿里云大数据+AI 产品全景

• 提供全面的大数据和 AI 产品和服务，涵盖数据存储、计算、分析、安全等多个方面。