登录
注册
回到首页
AI
搜索
发现报告
发现数据
发现专题
研选报告
定制报告
VIP
权益
发现大使
发现一下
行业研究
公司研究
宏观策略
财报
招股书
会议纪要
稀土
低空经济
DeepSeek
AIGC
智能驾驶
大模型
当前位置:首页
/
行业研究
/
报告详情
2-4 汇量科技智能决策基座 - mindalpha 高性能分布式机器学习平台
文化传媒
2022-11-02
DataFunSummit2022:决策智能在线峰会
欧***
AI智能总结
查看更多
汇量科技智能决策基座MINDALPHA高性能分布式机器学习平台
背景-广告业务现状
广告技术现状
:涉及出价召回、排序、隐私计算、反作弊智能决策等技术。
广告算法建模特点
:数据规模大(百GB级),请求量高(亿级),样本条数多(亿级),训练时间需分钟级,请求时延需毫秒级,模型大小为百GB。
智能决策基座-MindAlpha
训练平台需求
:关注成本(算法人力、资源占用、服务器成本)、效率(训练速度、算法迭代开发周期、模型部署周期)和效果(模型训练与落地效果差异、专家经验依赖)。
MindAlpha-ps简介
:PS架构包含coordinator(协调器)、server(模型装载与参数分发)、worker(计算节点),通过kkt条件控制参数更新。
MindAlpha-ma on spark
:利用Spark实现通用、易用、可扩展的解决方案。
MindAlpha-模型拆分
:采用dense(稠密网络)和sparse(稀疏网络)处理不同类型数据,连续型特征通过分桶处理。
MindAlpha-ma API支持
:支持数据读写(kudu、csv、orc、txt),模型源语(load/save、fit/transform、export等),优化器(Adam、Ftrl、Lamb、embeddingsum、Contact、lookUp、sumRange等)。
MindAlpha-几个重点topic
:
同步&异步计算
:涉及串行&并行(数据并行、模型并行),异步计算可能导致模型参数不一致,但类比非凸优化问题,效果未必变差。
CPU&GPU
:CPU适合I/O密集型、内存随机访问作业(调度、管理),GPU适合计算密集型、多核、浮点运算快、并行能力强。
MLOps建设
IDE建设
:使用Jupyter轻松完成代码调试。
云原生&CI建设
:采用yarn(pyenv)、k8s image(x86,arm)、Git Tag+等技术。
汇量计算平台架构
:具体架构图示未提供。
机器学习平台发展之路
模型裁剪
:优化模型大小和效率。
AutoML
:自动化机器学习,提升开发效率。
关于我们
:未提供具体内容。
你可能感兴趣
【T112017-人本数据和智能分会场】Petuum Poseidon高效的分布式深度学习平台
信息技术
TalkingData
2017-09-20
高性能出口产品组合:利用机器学习设计增长促进出口结构
机械设备
国际货币基金组织
2022-04-01
基金优选系列之三十三:国金量化多因子A:以机器学习为基础,多维度预测提高决策稳健性
西南证券
2023-06-26
5-5 快手分布式高性能图平台 KGraph 及其应用
电子设备
DataFunSummit2022:图机器学习峰会
2022-07-18
网易云音乐-陈赢-助力算法效果效率双增长引擎-云音乐磐石机器学习平台
文化传媒
2023第十二届全球TOP100软件案例研究峰会
2024-08-21