行业研究公司研究宏观策略财报招股书会议纪要 seedance2.0 低空经济 DeepSeek AIGC 大模型

张镎- 无服务器技术赋能大数据分析

信息技术 2022-05-19 DataFunSummit2022：大数据计算架构峰会测试专用号2高级版

核心观点与关键数据

客户需求：用户希望从多样化、指数型增长的数据来源中获取更多价值，分析场景多变。
技术演进：数据分析从单一能力走向全栈分析能力，从Builder到Buyer，无服务技术成为趋势。
无服务技术演进历程：从2006年至今，AWS Analytics经历了数据集成、数据仓库、大数据处理、交互式分析、实时分析等阶段，最终走向无服务化。

Amazon EMR Serverless 优势

简单易用：
- 无需考虑实例类型或集群规模。
- 无需配置、优化、运维集群。
- 更轻松地运行开源框架。
无需猜测集群规模：
- 细粒度自动扩展，根据不同Stage的工作负载自动添加和删除工作节点。
- 数据量变化后无需重新配置。
- 仅为自己实际使用的资源付费。
- 可指定最大扩展上限控制成本。
无需管理集群即可获得Amazon EMR的所有收益：
- 使用针对Amazon EMR运行时优化版本的Apache Spark和Apache Hive。
- 新版本将在OSS发布后的60天内可用。
- 100%开源API兼容。
性能优化：
- EMR性能优化的Apache Spark运行时性能提升3.1倍，成本仅为40%。
- EMR性能优化的Apache Hive运行时性能提升1.25倍。
通过细粒度扩缩节约成本：
- 不同Stage的作业可根据需求自动扩展和缩减节点数量。
可用区容错设计：
- 区域级服务，作业自动分发至最佳可用区。
- 默认多可用区部署，避免跨可用区网络通信。
以安全的方式共享应用程序：
- 为每个作业设置IAM Role，指定作业可访问的内容。
- 基于作业的IAMexecution Role简化多租户环境的管理。
实现交互式应用程序：
- 初始化的工作节点池可在几秒内响应。
- 适用于SQL查询和数据探索等交互式应用程序。
易于切换的部署模式：
- Amazon EMR可运行于Amazon EC2、EKS、Outpost。
- Amazon EMR Serverless使用Amazon EMR Runtime构建的应用程序可用于任何部署方式。

核心概念

应用程序：可使用不同的开源框架（如Hive或Spark），可为不同场景使用不同版本的开源框架，可为测试和生产场景维持独立的逻辑环境。
作业：工作节点用于执行工作负载，可通过更改工作节点规模控制整体性能。
工作节点：用于执行您的工作负载，可运行您选择的OSS框架，可通过更改工作节点规模控制整体性能。

常见使用场景

数据管道：
- EMR Serverless的数据管道启动和停止更简单。
- 管道运行过程中自动扩展，无需重新配置。
- 通过细粒度扩展节约成本。
- 管道运行完毕后自动删除工作节点。
共享集群：
- 通过Amazon EC2上的Amazon EMR使用自动扩展共享集群。
- 基于作业的IAMExecutionRole实现数据隔离和权限控制。
- 作业的调试变得简单。
交互式应用程序：
- 初始化容量可充当应用程序的计算warmpool。
- 工作节点与应用程序一起启动，快速响应交互式用例。
- 多个作业可立即启动，随着工作负载增多可自动请求更多容量。
- 所有作业完成后，预初始化容量将得以保留。
- 停止的应用程序将删除所有容量。