深度学习技术选型白皮书 （2018年） 中国人工智能产业发展联盟 2018年10月 1 版权声明 本白皮书版权属于中国人工智能产业发展联盟，并受法律保护。转载、摘编或利用其它方式使用本白皮书文字或者观点的，应注明“来源：中国人工智能产业发展联盟”。违反上述声明者，编者将追究其相关法律责任。 2 前 言 人工智能是一种引发诸多领域产生颠覆性变革的前沿技术，当前以机器学习，特别是深度学习为核心，在视觉、语音、自然语言等应用领域迅速发展，已经开始像水电煤一样赋能于各个行业。 深度学习软件框架及相关工具集是人工智能应用落地的重要抓手，是人工智能相关服务及产品的核心。本白皮书专注于以深度学习为核心的软件框架及工具，以实际需求为指引，提出深度学习技术选型考虑及指标，旨在为企业应用深度学习技术开展业务提供参考，同时为以开源框架为技术核心的服务及产品选型评测提供依据。 深度学习技术选型白皮书是中国人工智能产业发展联盟开源开放推进组的研究成果。本白皮书从深度学习训练框架、推断框架及技术生态工具集三个维度系统梳理总结了基于开源的深度学习技术体系，结合企业自身业务开展需求，分析了技术选型因素，提出了选型指标体系，并就软件框架目前存在的问题及技术发展趋势进行了研判。中国人工智能产业发展联盟后续将在此研究基础上继续深入开展相关研究及评估标准制定工作，并继续发布相关研究成果。 1 目 录 目 录 ....................................................................................................................................... 1 一、 深度学习软件框架发展概述 .................................................................................... 3 （一） 深度学习框架是人工智能产业化落地的核心 ................................................ 3 （二） 深度学习框架的分类 ........................................................................................ 4 二、 深度学习训练框架技术选型 .................................................................................... 5 （一） 深度学习训练框架应用现状 ............................................................................ 5 1. 深度学习训练框架使用趋同 .................................................................................... 5 2. 产业对训练框架提出新需求 .................................................................................... 9 （二） 训练框架选型考虑 .......................................................................................... 10 （三） 产业优秀使用案例 .......................................................................................... 14 1. 基于TensorFlow构建大规模应用系统 ................................................................. 14 2. 基于Keras简洁高效实现智能化运维 ................................................................... 17 3. 基于PaddlePaddle实现多种业务部署 .................................................................. 17 4. 基于Caffe满足目标检测实际业务需求 ............................................................... 18 三、 深度学习推断框架技术选型 .................................................................................. 19 （一） 深度学习推断框架应用现状 .......................................................................... 19 1. 推断框架体系呈现碎片化 ...................................................................................... 19 2. 推断框架滞后于实际需求 ...................................................................................... 21 （二） 推断框架选型考虑 .......................................................................................... 22 （三） 产业优秀使用案例 .......................................................................................... 24 1. 面向移动终端的HiAI计算平台 ............................................................................. 25 2. 面向工业的轴承故障推断应用 .............................................................................. 25 3. 企业研发助力推断框架性能显著提升 .................................................................. 26 四、 深度学习技术生态工具集 ...................................................................................... 26 1. 深度学习编译中间件 .............................................................................................. 27 2. 数据及模型表示格式 .............................................................................................. 28 3. 深度学习可视化工具 .............................................................................................. 28 4. 标准模型算法资源库 .............................................................................................. 29 2 5. 模型压缩优化工具集 .............................................................................................. 29 五、 趋势展望 .................................................................................................................. 29 六、 合作机构 .................................................................................................................. 32 中国人工智能产业发展联盟 深度学习技术选型白皮书（2018年） 3 一、 深度学习软件框架发展概述 （一） 深度学习框架是人工智能产业化落地的核心 当前，基于深度学习的人工智能算法主要依托计算机技术体系架构实现，深度学习算法通过封装至软件框架1的方式供开发者使用。软件框架是整个人工智能技术体系的核心，实现对人工智能算法的封装，数据的调用以及计算资源的使用，起到承上启下的重要作用。深度学习软件框架在人工智能技术产业化实现详见图1所示。 图 1基于深度学习的人工智能技术应用架构图2 1 软件框架（software framework），通常指的是为了实现某个业界标准或完成特定基本任务的软件组件规范，也指为了实现某个软件组件规范时，提供规范所要求之基础功能的软件产品。 2 该图摘自中国信息通信研究院、中国人工智能产业发展联盟于2018年9月6日联合发布的《人工智能发展白皮书-技术架构篇（2018年）》 中国人工智能产业发展联盟 深度学习技术选型白皮书（2018年） 4 人工智能基础性算法理论研究已经较为成熟，各大厂商纷纷发力建设算法模型工具库，并将其封装为软件框架供开发者使用。软件框架是算法的工程实现。企业的软件框架实现有闭源和开源两种形式：少数企业选择闭源方式开发软件框架，目的是打造技术壁垒；目前业内主流软件框架基本都是开源化运营。本白皮书主要关注开源软件框架的技术及应用特点，对闭源软件框架不做过多讨论。 （二） 深度学习框架的分类 基于深度学习技术的服务及产品主要涉及到三类软件框架，按照应用场景分为云端训练、云端推断以及端侧推断。不同应用场景任务不同，所需承载的计算及限制条件也存在差异，因此针对各场景计算工具的功能及性能要求均有不同。 云端训练框架主要完成面向海量数据的模型训练任务，对算力要求最高，实际应用中需要采用分布式计算等技术，同时对于工业级模型及稳定性也有特殊要求；云端推断框架主要完成训练模型的优化、云端部署及推断计算等工作，对于效率及并发性等具有特殊要求；终端推断框架主要完成训练模型在终端的部署及计算，由于终端功耗、功能、芯片等众多限制，终端推断框架的性能、能耗及自身优化需满足多种限制性要求。 本白皮书第二章重点对云端训练软件框架