2023安防AI人工智能工程化白皮书

前言 近年来，人工智能迎来了第三个发展高峰期。在计算、大数据、深度学习等技术的综合作用下，人工智能技术得以大幅度提升。在很多应用领域，人工智能被给予很大期望，最乐观的预期认为可以带来人类文明的第四次工业革命。过去几年里，中国公共安全视频建设经历了飞速发展的黄金时期，适逢人工智能技术取得突破性进展，以人脸识别为代表的人工智能（主要是机器视觉）在安防行业迅速落地，诞生了一系列初具成效的应用，也存在虚张声势的营销。 批评者指出，人工智能当前的主要矛盾，是业界的营销能力和PPT水准，远远领先于用户的真实需求和实战准备；人工智能序幕揭开，算法仍有很多发展空间，对于算法落地难、实战差，工程化是今后要解决的问题。实践者认为，任何一项技术，其生命力由商业化应用的程度决定，只有将技术转化为产品，形成解决方案，最终转化为用户的有效利用，才能形成技术和价值的良性循环。 在顶层设计方面，中国政府对人工智能发展战略的高度重视。自2015年6月以来，中国密集发布了7项关于人工智能的政策与规划，并倡导将人工智能技术应用于公共安全领域，进行技术创新、产品创新和应用创新。 在技术创新层面，传统的安防企业、新兴的AI初创企业，都开始积极从技术各个维度拥抱人工智能，在模式识别基础理论、图像处理、计算机视觉以及语音信息处理展开了集中研究与持续创新，探索模式识别机理以及有效计算方法，为解决应用实践问题提供了关键技术，具备了原创性技术的突破能力。 在产品应用层面，很多企业推出了系列化的前后端AI安防产品，理论上满足了许多典型场景下的实战应用需求。人工智能技术的不断进步，传统的被动防御安防系统将升级成为主动判断和预警的智慧安防系统；安防从单一的安全领域有望向多行业应用、提升生产效率、提高生活智能化程度方向发展，为更多的行业和人群提供可视化、智能化解决方案。 智慧安防的技术基础和产品化已趋成熟，因此在下一阶段的命题就是如何系统化规模部署。挑战与机遇并存，从技术手段的不断革新到产品形态的成熟落地，智慧安防仍然面临众多难题，诸如成本高昂、工程化布点困难、算法场景局限大、缺乏深度应用、缺乏系统性顶层设计、缺乏满足实战应用的行业标准与评估体系 等。能够在多大程度上解决这些问题，关系着智慧安防产品和方案能否真正的落地生根。 安防+AI前景可期，久久为功。国内的学术界及实业界积极尝试将人工智能应用于安防领域，正视问题，研究方法，实践中总结改进，稳健推动安防行业的第三次升级。『安防+AI人工智能工程化白皮书』集合了中科院自动化所、浙江宇视科技有限公司的技术专家及行业专家的研究成果、实践经验。本报告从当前人工智能技术与产业发展的背景、智慧安防生态圈、智慧安防典型应用、智慧安防规模化应用存在的问题，以及智慧安防未来趋势等五个维度，系统梳理总结了当前安防+AI的发展现状，尤其重点分析指出了智慧安防领域存在的八大限制性因素，以及智慧安防的八大新的发展趋势，供学术界及实业界的学者、专家参考。 由于编写时间仓促，本报告存在一定的不足，欢迎业内各界人士批评指正；作为一个开放系统，也欢迎其他国内外的机构和企业加入汇聚自己的经验智慧。 中科院自动化所、宇视研究院报告团队2018年11月于乌镇 第一章背景 1.1从自动化迈向智能化时代 人工智能始于20世纪50年代，至今大致分为三个发展阶段： 第一阶段（20世纪50年代——80年代）：形成了基本的人工智能，但还远远不及智能化水平。符号主义理论快速发展，一些基础的算法理论得到证明。计算机的出现，人工智能的实际应用具备了硬件条件；但是硬件设备的计算能力极为有限，难以处理复杂性更大的计算任务。 第二阶段（20世纪80年代——90年代末）：专家系统得到快速发展，数学模型有重大突破。计算机从完成单纯的数学和逻辑运算，演变为执行知识库的自动化工具。这一阶段的专家系统需要人们把知识总结后灌输给计算机，计算机只能按规则应用这些知识，无法从数据中自行获取知识。 第三阶段（21世纪初——至今）：随着大数据的积聚、算法理论的革新、计算能力的提升，尤其是深度学习技术的发展，机器实现了分析数据，从而自动学习出知识能力。 从人工智能的发展历程来看，深度学习（深度神经网络）推动了本轮人工智能的发展，本质上是多层次的人工神经网络算法，即从结构上模拟人脑的运行机制，从最基本的单元上模拟了人类大脑的运行机制。当前基于深度学习的人工智能技术架构下图所示： 1.2三个框架奠定产品化基础 从人工智能的技术架构来看，得益于基础硬件的强化与软件框架的优化，使这一轮人工智能的爆发式增长得以实现。而基础应用技术的进一步研发则使人工智能从抽象技术实现了向可及性产品与服务的转变。 基础硬件层为算法提供了基础计算能力。涵盖GPU、CPU、FPGA、ASIC。 软件框架层实现算法的模块化封装，为应用开发提供集成软件工具包。该层涵盖范围包括针对算法实现开发的各类应用及算法工具包，为上层应用开发提供了算法调用接口，提升应用实现的效率。 算法框架是人工智能核心生态圈建立的关键环节，是决定人工智能技术、产业、应用的核心环节，是人工智能核心生态圈建立的基础和关键。 当前人工智能的商业化实现主要是基于计算机视觉、智能语音、自然语言处理等基础应用技术实现，并形成了相应的产品或服务。 目前国内外人工智能企业应用的技术主要是计算机视觉和智能语音语义两个方面。 自然语言是人与人沟通交流最主要的手段。智能语音语义的核心是研究人与计算机直接以自然语言的方式进行有效沟通的各种理论和方法。自然语言处理技术仅在特定领域取得了较好的应用，鲁棒性存在大量挑战，学术发展和产品应用上都有非常大的空间。 计算机视觉的目的是建立能够从图像或者多维数据中获取信息的人工智能系统。得益于深度学习算法的成熟应用，侧重于感知智能的图像分类、目标检测等技术已经逐步实现商用价值。但现阶段的视觉技术往往仅能利于影像表层信息，缺乏对事物功能、因果、动机等深层信息的认知把握，在技术层面仍有很大的探索空间。 1.3各国政策规划和智慧安防 人工智能被认为是第四次工业革命的主要使能技术，获得了各行业的极大关注。为了抓住AI发展的战略机遇，越来越多的国家和组织已经相继制定国家层面的发展规划。 中国高度重视人工智能发展，2015年后密集发布人工智能相关政策和规划。 在人工智能应用领域，我国智慧安防领域走在了世界的最前沿。在国内众多关于人工智能的政策、发文、规划中多次提到将人工智能技术应用于公共安全领域，进行技术创新、产品和应用创新，同时相关部门也提出并发布了在视频监控应用中基于人工智能的视频图像处理技术标准。 1.4安防+AI的爆发 全球AI相关产品业规模庞大。据中国人工智能学会和罗兰贝格咨询公司预测，2016年至2025年，全球人工智能市场规模年均增速超过40%，2025年将达到3万亿美元。 在这个技术大背景之下，我国人工智能产业初具优势。中国电子学会公开数据显示，2017年，中国人工智能核心产业规模已达到56亿美元左右，预计2020年，中国人工智能核心产业规模将超过220亿美元，年均增速接近65%。 按照中国信息通信研究院的统计结果，目前中国人工智能市场主要由五个领域构成，按照市场规模从高到低分别为：机器视觉占比37%，语音识别占比22%，自然语言处理占比16%，基础算法及平台占比14%，芯片占比11%。其中，由于近几年中国互联网娱乐、广告传播和公共安全视频监控市场的高速发展，计算机视觉市场规模以37%占比大幅领先。 在机器视觉领域市场构成中，安防行业以67.9%占据大部分份额，这得益于中国公共安全视频监控建设的庞大市场。随着高清视频、智能分析、云计算和大数据等相关技术的发展，安防系统正在从传统的被动防御升级成为主动判断和预警的智能防御。安防行业也从单一的安全领域向多元化行业应用方向发展，旨在提升生产效率、提高生活智能化程度，为更多的行业和人群提供可视化、智能化解决方案。随着智慧城市、智能建筑、智慧交通等智能化产业的带动，智慧安防也将保持高速增长。预计在2020年全球产业规模实现106亿美元，中国会达到20亿美元。 在安防行业，人工智能应用发展最快的是人脸识别，其市场规模如下图所示。 第二章智慧安防生态 2.1基础硬件 这里的基础硬件特别强调芯片厂商，目前主要的AI核心芯片供应商如下表所示： 注释：对于“AI芯片”这一称谓，学术界持严谨和否定的态度。中科院中国经济与社会安全研究中心主任王飞跃称没有这样的说法，“我不认为现在有所谓的人工智能芯片，当然这种宣传可以进行宣传。”德国马格德堡大学教授Andreas Nuernberger也同意这样的观点，不知道背后谁在推动，从而成为热词。 GPU主要应用在数据中心，其特点是产品上市快，缺点是功耗高。安防应用中，GPU芯片基本被英伟达垄断。 安防领头企业不乏基于GPU的视频监控产品，如下图所示： FPGA在中心推理及数据中心也有较多应用，与GPU比，FPGA的功耗优势明 显。安防应用中，FPGA主要厂家有Xilinx、Intel（原Altera）等。 ASIC主要应用于端侧推理，由于端侧应用的多样性、复杂性以及对高性价比述求等原因，ASIC厂家很多，例如：寒武纪、海思、地平线、比特大陆等，同时提供的方案也多。 2018年安防市场ASIC竞争非常激烈，下图是根据网络数据整理的各ASIC芯片上市进度。其中，海思的布局非常密集。 2.2云平台 近年来，具备云计算平台等技术资源的公司，如阿里云、华为云等云平台厂商，推出了针对智慧安防行业的智能视频云平台。除了传统的海康、大华、宇视、科大、天地伟业、东方网力等企业外，CV厂商和云平台供应商也逐步开始提供云平台产品和行业应用。 2.3软件框架 软件框架技术仍掌握在亚马逊、微软、谷歌、百度等科技巨头手中，是深度学习人工智能的核心。 算法框架是人工智能核心生态圈建立的关键环节。实现算法的模块化封装， 为应用开发提供集成软件工具包，包括针对算法实现开发的各类应用及算法工具包，为上层应用开发提供了算法调用接口等服务。 2.4基础算法 安防行业的算法企业总体来说可以分为两大类。第一大类是商汤、旷视、云从、依图、中科神探等CV企业；第二大类是海康、大华、宇视，也开始AI算法技术布局。随着各企业的投入进一步加大，视频识别算法准确率大幅度提升。例如人脸识别算法，在特定条件下，已经达到很高的水平。 此外，在图像分类、物体检测等方面，计算机的识别率都已经远远超越了人类平均水平。 2.5产品及行业应用 除了传统的海康、大华、宇视、科达、天地伟业、东方网力等安防厂商外，CV厂商和云平台供应商也逐步开始提供产品和行业应用。 除了前文提到的云中心产品，各企业基本已经完成边缘智能产品序列化。 随着边缘和中心产品的丰富，用户开始对应用业务提出了更高的要求。从目前行业情况来看，无论是传统安防企业，还是CV和云平台企业，在业务应用上虽有部分提升，但仍以典型通用应用为主。 第三章智慧安防典型应用 随着AI在安防行业的渗透和深层次应用技术的研究开发，当前安防行业已经呈现“无AI，不安防”的新趋势，各安防监控厂商全线产品AI化已经是当前不争的事实，同时也成为各厂商的新战略。随着AI在安防行业的深入落地，AI在安防领域尤其是视频监控领域的产品形态及应用模式也开始趋于稳定，安防行业的AI技术主要集中在人脸识别、车辆识别、行人识别、行为识别、结构化分析、大规模视频检索等方向。 安防行业的AI应用场景分为卡口场景和非卡口场景，前者指光线、角度等条件可控的应用场景，以车辆卡口及人脸卡口为主；后者指普通治安监控视频场景。其中，卡口场景约占监控摄像机总量的1%-3%，剩余的均为非卡口场景监控视频。 3.1卡口场景：人脸身份确认应用 人脸身份确认应用以公安行业人员布控为代表，在关键点位部署人脸抓拍摄像机，通过后端人脸识别服务器对抓拍到的人脸进行分析识别，同时与人脸黑名单库进行比对。 随着人员布控应用的增强，已经初显效