OrionX AI算力资源池化解决方案技术白皮书

OrionX AI算力资源池化解决方案 技术白皮书 发布时间：2023年9月 版权所有©北京趋动科技有限公司2023。保留一切权力。 非经本公司许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。 商标声明 本文档提及的商标为北京趋动科技有限公司的商标。 免责声明 本文档可能含有预测信息。由于实践中存在很多不确定因素，可能导致实际结果与预测信息存在差别。因此，本文档的信息仅供参考，不构成任何要约和承诺。趋动可能不经通知即修改本文档信息，恕不另行通知。 联系我们 电话：010-62560919邮箱：BD@virtaitech.com地址：北京市海淀区中关村大街1号海龙大厦10层1022 目录 1引言...............................................................................................................................12GPU资源池化技术的演进............................................................................................23OrionX产品概述...........................................................................................................34OrionX产品优势...........................................................................................................45OrionX软件架构...........................................................................................................55.1OrionX的逻辑架构.............................................................................................55.2OrionX的功能组件.............................................................................................65.2.1OrionX Controller（OC）.......................................................................65.2.2OrionX Server Service（OSS）.............................................................65.2.3OrionX Client Runtime（OCRT）..........................................................75.2.4OrionX GUI（OG）................................................................................75.3OrionX组件间通信.............................................................................................75.3.1管理平面..................................................................................................85.3.2数据平面..................................................................................................86部署形态.....................................................................................................................106.1OrionX与容器云平台集成................................................................................106.2OrionX与Kubernetes集成.............................................................................116.3OrionX与KVM集成........................................................................................116.4OrionX与VMware集成...................................................................................127OrionX应用场景.........................................................................................................147.1OrionX支持大模型场景的典型应用.................................................................147.1.1通过“化零为整”功能支持训练................................................................147.1.2通过“隔空取物”功能支持训练................................................................157.2OrionX支持小模型场景的典型应用.................................................................167.2.1通过“化整为零”功能支持推理................................................................167.2.2通过“隔空取物”功能支持推理................................................................177.3OrionX支持大/小模型场景的典型应用............................................................187.3.1通过“随需应变”功能支持训练/推理........................................................187.3.2通过“任务队列”功能支持训练/推理任务自动排队..................................197.3.3通过“抢占”功能支持任务抢占资源.........................................................207.3.4通过“显存超分”功能支持多任务叠加常驻..............................................217.3.5通过“双类资源池”功能支持物理/虚拟切换.............................................227.3.6通过“热迁移”功能支持AI任务平滑迁移................................................23 7.3.7通过“多Arch”架构可同时支持AI计算与图形渲染................................257.4OrionX支持多元异构算力芯片........................................................................288性能测试.....................................................................................................................308.1测试环境..........................................................................................................308.2测试结果..........................................................................................................319兼容性列表..................................................................................................................33 图表目录 图表1-1全球人工智能市场规模走势图.............................................................................................................1图表2-1GPU资源池化技术演进图.......................................................................................................................2图表3-1ORIONX架构图.............................................................................................................................................3图表5-1ORIONX逻辑架构图....................................................................................................................................5图表5-2管理平面逻辑结构图................................................................................................................................8图表5-3数据平面逻辑结构图..............................................................................................