7-1 多维分析在云产品计量计费场景中的应用

云产品计量计费多维分析应用总结

云产品计量计费介绍

• 计量模型：通过采集原始用量数据（如时长、次数、流量等），衍生出可计费数据，并进行结构化处理。
• 计费模型：结合订单数据、交易系统计算结果和账单数据，实现计费和账务管理。

多维分析应用

• 计量模型设计：
  • 原始用量数据模型包含用户、产品、事件、时间、类型、用量属性等字段。
  • 多维分析通过旋转、切片、上卷等操作，将原始用量数据转换为可计费数据。
  • 构建实时数仓，包括ODS、DWD、DIM、DWM、DWS、ADS等层级，确保数据准确性和实时性。
• 计量系统架构演化：
  • 从实时计量系统（Flink模块、消息队列、定时任务）到更高效的架构（Flink入湖、计算引擎、数据流）。
  • 系统特点：实时上报、多维计算、实时查询、实时扣减。
• 算子编排抽象：
  • 通过算子编排抽象（source、sink、并行度、通用算子、自定义算子），实现灵活的用量计算和策略匹配。
  • 功能池管理不同行业解决方案（音频、视频、带宽）的执行顺序和配置。
• 计量系统用户策略&用量账户演化：
  • 从资源包优先级排序、视频时长/分辨率/带宽收费到用量账户的实时扣减和抵扣。
  • 策略维度包括结算周期、用量类型、结算方式、包扣减策略等。
  • 用量账户与资源包购买流程解耦，实现更灵活的抵扣和扣减。

计量相关问题及解决方案

• 热点key问题：
  • 多个热点key分步计算：通过拆分大窗口为多个小窗口进行分步计算。
  • 单个热点key打散：通过随机标记localkey值，均匀打散到不同并行度。
  • 算子抽象：通过热key散列和算子抽象功能池，解决热点key问题。
• 系统扩缩容平滑升级解决方案：
  • Flink扩缩容：通过任务taskid变更和并行度调整，实现平滑升级。
  • 后台系统升级：通过沙箱环境验证、数据自动对账和自动化测试，确保升级兼容性和数据准确性。
  • 业务自助升级：通过业务版本并跑、自助导流和API下发新版本配置，实现平滑升级。

计量系统后续迭代演进

• 同一套系统能否解决结算、账务级优惠、运营统计等多维分析需求。
• 通过多维分析技术，实现从原始用量数据到衍生用量数据、计费用量数据、运营报表数据、账单数据等的全面管理和分析。