数据洪流中的智能航舵：Oceanus流式湖仓探索，弹性降本

业务痛点和挑战

随着数字化加速，企业对实时数据处理和分析需求日益迫切，传统批处理方式存在时效性差、数据孤岛、扩展性不足等问题，无法满足实时洞察需求。

流计算Oceanus产品概述

流计算Oceanus是基于Apache Flink构建的企业级实时大数据分析平台，具备一站式开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点，适用于实时推荐、实时风控、实时数仓、实时大屏等场景。

目录

1. 流式湖仓方案架构介绍
2. 湖仓场景现状和挑战
3. 流式湖仓应用场景
4. 新型弹性降本方案

湖仓场景现状和挑战

传统Lambda架构存在灵活性低、成本高、Update场景支持不足等问题。

流式湖仓方案

Streaming Iceberg是腾讯自研的基于Iceberg生态的流式湖仓解决方案，底层基于LSM Tree存储引擎，支持高效的主键更新和部分列更新，生成完整changelog记录，允许下游Flink作业进行增量处理。

流式湖仓优势

• 统一存储，简化架构
• 灵活的数据访问
• 实时处理能力强
• 性能优异
• 成本低
• 避免重复存储
• 打破数据孤岛
• 兼容Iceberg生态
• 支持多种查询引擎
• 高效更新
• 简化运维

流式湖仓实践

适用行业及场景包括电商、实时用户画像推荐、实时数据大盘、实时课程直播数据分析、实时游戏数据分析、实时出行数据分析等。

电商行业实时订单交易数据分析场景效果：

• 自动完成小文件合并等治理操作，保证查询性能
• ODS层数据基于Streaming Iceberg生成changelog进行流式数据聚合
• 每一层可通过Doris关联外表进行OLAP分析，或通过DLC/EMR中的Spark/Presto引擎进行离线报表计算，实现数据复用

流式湖仓CDC优化效果：

• 实现效率更高的At-least-once数据同步模式
• 性能提升10倍以上

业务成本挑战

资源成本、运维人力投入、时间投入、弹性扩展困难、复杂的运维管理、困难的资源管理。

新型弹性降本方案

首创弹性包年包月方案，优势包括：

• 支持弹性，灵活度高
• 低成本
• 资源弹性扩缩容
• 集群及平台特性：
  • 自动扩缩容
  • 自研服务器
  • 细粒度资源
  • 弹性伸缩
  • 作业级别自动/自定义调优
  • 多规格细粒度资源配置
• 专家资源及作业优化：
  • 专家作业优化
  • 算子级别资源配置支持单个算子的CPU、内存、并行度、状态时间等配置，支持SLOT配置
• 一站式开发运维：
  • 0成本运维
  • 运行时监控
  • 智能告警
  • 异常诊断
  • 日志
  • 快捷回滚