登录
注册
个人信息
我的订单
我的报告豆
我的优惠券
我的笔记
我的阅读
我的收藏
我的下载
我的上传
我的订阅
在线客服
退出登录
回到首页
AI
搜索
发现报告
发现数据
发现专题
专题报告
专题百科
研选报告
定制报告
VIP
权益
发现大使
发现一下
行业研究
公司研究
宏观策略
财报
招股书
会议纪要
seedance2.0
低空经济
DeepSeek
AIGC
大模型
当前位置:首页
/
行业研究
/
报告详情
7-1 多维分析在云产品计量计费场景中的应用
信息技术
2022-07-18
DataFunSummit2022:多维分析架构峰会
陳寧遠
云产品计量计费多维分析应用总结
云产品计量计费介绍
计量模型
:通过采集原始用量数据(如时长、次数、流量等),衍生出可计费数据,并进行结构化处理。
计费模型
:结合订单数据、交易系统计算结果和账单数据,实现计费和账务管理。
多维分析应用
计量模型设计
:
原始用量数据模型包含用户、产品、事件、时间、类型、用量属性等字段。
多维分析通过旋转、切片、上卷等操作,将原始用量数据转换为可计费数据。
构建实时数仓,包括ODS、DWD、DIM、DWM、DWS、ADS等层级,确保数据准确性和实时性。
计量系统架构演化
:
从实时计量系统(Flink模块、消息队列、定时任务)到更高效的架构(Flink入湖、计算引擎、数据流)。
系统特点:实时上报、多维计算、实时查询、实时扣减。
算子编排抽象
:
通过算子编排抽象(source、sink、并行度、通用算子、自定义算子),实现灵活的用量计算和策略匹配。
功能池管理不同行业解决方案(音频、视频、带宽)的执行顺序和配置。
计量系统用户策略&用量账户演化
:
从资源包优先级排序、视频时长/分辨率/带宽收费到用量账户的实时扣减和抵扣。
策略维度包括结算周期、用量类型、结算方式、包扣减策略等。
用量账户与资源包购买流程解耦,实现更灵活的抵扣和扣减。
计量相关问题及解决方案
热点key问题
:
多个热点key分步计算:通过拆分大窗口为多个小窗口进行分步计算。
单个热点key打散:通过随机标记localkey值,均匀打散到不同并行度。
算子抽象:通过热key散列和算子抽象功能池,解决热点key问题。
系统扩缩容平滑升级解决方案
:
Flink扩缩容:通过任务taskid变更和并行度调整,实现平滑升级。
后台系统升级:通过沙箱环境验证、数据自动对账和自动化测试,确保升级兼容性和数据准确性。
业务自助升级:通过业务版本并跑、自助导流和API下发新版本配置,实现平滑升级。
计量系统后续迭代演进
同一套系统能否解决结算、账务级优惠、运营统计等多维分析需求。
通过多维分析技术,实现从原始用量数据到衍生用量数据、计费用量数据、运营报表数据、账单数据等的全面管理和分析。
你可能感兴趣
7-1 图机器学习在信用风险管理场景的应用
商贸零售
DataFunSummit2022:图机器学习峰会
2022-07-18
7-3 多维分析在云音乐社交创新业务的应用
商贸零售
DataFunSummit2022:多维分析架构峰会
2022-07-18
固态超声波技术在燃气计量中的应用
商贸零售
xylem
2020-08-28
8-3 StarRocks 在游族的多维分析场景与落地实践
商贸零售
DataFunSummit2022:多维分析架构峰会
2022-07-18
天穹SuperSQL如何应对数据湖场景中的复杂多维分析
商贸零售
DataFunSummit2023:数据湖架构峰会
2023-07-12