软件定义摄像机关键技术白皮书

中国电信终端研究测试中心 目录 1、1 2、软件定义摄像机简介.2 2.1定义，.222技术特点.32.3标准化进展 软件定义摄像机参考技术架构.5 3.1系统分层椎架，53.2算法上线流程4 软件定义摄像机关键技术8 4.1云原生通用化0S能力.8 4.1.1轻品级容器引擎4.1.2模块化的微服务.10 4.2标准化服务软硬件解据。.11 4.2.1文件股务应费访尚.124.2.2准化文件访尚选山.14 4.3高效、标准的算法椎架.1.5 4.3.1绕算法萨架.1.54.3.2泛开发草必柜架.17 4.4端例的AI推理与训练.17 4.4.谢练加速药片.184.4.2图学习能力.18 4.5消云协同的AI能力19 4.5.1模星动态分款.204.52模型动态如载.20 4.6高画质图像采编及处理.22 4.6.1超清采编技术.224.6.2ROI图像优化.23 4.7安全可信的体系架构。.24 4.7.1AI载据的总书及器高.254.7.2业务应用的安全运行.25 总结与展望27 图目录 图1传统摄像机与软件定义摄像机对比..2图2软件定义摄像机标准体系。..4图3软件定义摄像机系统框架..5图4算法开发与上线流程..7图5轻量级容器引擎架构..9图6标准化服务架构.11图7文件即服务架构.12图8服务文件监控与触发机制..13图9TVM转换架构..16图10AI端创训练示意图.18图11软件学习能力示意图.19图12神经网络分割.20图13模型动态圳载与计算.21图14摄像机图像处理流程.22图15AIROI图像处埋23图16智能摄像机安全要求.24 表目录 表格4-1容器引擎对比.9表格4-2标准化接口服务列表.14 1、前言 自前传统视频监控正在向智能安防演进，并逐步应用于干行百业，传统AI摄像机采用软硬一体方案，需要针对不同场景需求部害不同摄像机，无法道过在线安装应用或软件升级达到快速适配多场景需求，导致重复开发、应用版本及终端型号众多，限制了智能安防行业的发展。 摄像机终端厂商、芯片厂商正与运营商携手推进“软件定义摄像机”的全新理念，以专业AI芯片、开放的操作系统、丰富的生态体系来定义智能摄像机的全新架构，接需定义用户场景、实现分层智能及持续更新算法，使得摄像机拥有可持续的生命力。 本白皮书探讨软件定义摄像机的定义、技术特点及系统框架，同时对容器化微服务、文件即服务、统一模型框架、端边云协同等关键技术进行闸述，希望以此凝聚业界力量合力催生软件定义终端新业态，培育智能摄像机新兴市场，推进智能安防走向千行百业。 2、软件定义摄像机简介 2.1定义 软件定义是将原来高度耦合的一体化硬件，通过标准化、抽象化，解耦成不同的软件部件，实现原来必须由硬件才能提供的功能，并通过管理控制软件自动进行硬件资源的部署，为应用提供灵活的服务。 软件定义摄像机（software-definedcamera，以下简称SDC）采用软件定义技术理念及服务化架构实现硬件和软件解耦，以及多算法aPP按需动态加载，从单一功能向多应用聚合智能摄像机演进。 不同于传统摄像机软硬件高度耦合，升级算法困难，算力有限且算法精度低的情况，软件定义摄像机具备专业的AI芯片，充足的算力，开放的操作系统及丰富的生态体系： 专业的AI芯片：通过专用NPU/TPU硬件加速支持深度学习神经网络万亿级计算视觉处理，轻松实现目标分类和属性识别等能力，甚至可以完 全取代后端服务器来完成视频全量特征结构化，让全网智能分析效率最大化。 并放的操作系统：通过容器化及支件即服务技术屏蔽底层硬件的差异让客算法独立运行在虚拟空间上，实现快速的独立加载与在线更送 丰富的生态体系：为匹配行业场景细分、环境多样化的需求，通过商城聚合大量行业属性的长尾算法与应用，提供算法应用快速上线、持续演进、按需使用的能力，解决客户复杂场景需求的问题， 2.2技术特点 通过软件能力赋予摄像机不断送代演进的生长能力，软件定义摄像机真备三大特征： 按需定义场景：摄像机应该具备按需定义场景的特点，根据不同的场景接需加载不同的软件和算法，通过多样的组合来快速适配瞬舞息方变的演进步伐。分层的智能：摄像机一方面采用精准判断，以全特征、多信息的方式提高准确率，降低误判：同时，通过多摄像机间协同、端云间协同进行联合判断，提高分析准确率。，有持续的生命力：具备让算法和应用不断选代、衍进和生长的能力，并且始终满足客户的业务场景需求。 2.3标准化进展 软件定义摄像机还有待在平台、安全、机器学习和云原生软件开发建立相关标准。 国际上在ITU-T联合主导推动软件定义摄像机应用场景、系统架构的标准制定：国内由电信、信通院、华为等在CCSA牵头启动制定系统的对软件定义摄像机标准，包括参考技术架构、中间件标准、功能测评方法、应用管理器、算法商城到应用场景需求进行的标准化研究及制定。 3、软件定义摄像机参考技术架构 3.1系统分层框架 软件定义摄像机的系统框架由平台层与终端层组成，平台层包括软件定义摄像机的算法商城与SDC管理器，终端层包括应用层、操作系统层和硬件层 1）算法商城 支持算法应用上传、训练、验证、分发及销售的license管理： 算法仓库：存储、更新、管理AI算法，是AI算法生产、对接、集成、展示的平台；算法在线训练与验证发布：编辑、训练、调试及运行代码适配，通过算法在平台端进行训练与模拟验证，实现快速、安全、低成本的算法调试： License管理：基于云端管控的Al算法license实现应用在软件定义摄像机上运行的计费、鉴权。 2）SDC管理器 负责管理软件定义摄像机终端与应用分发： 应用生命周期管理：管控AI算法应用在软件定义摄像机上的加载、运行卸载等功能应用编排分发：提供AI算法应用在不同软件定义摄像机上的灵活加载与安装;基础终端管理功能：提供终端上下线信息、配置信息等基础管理功能批量升级应用：对软件定义摄像机的AI算法应用进行批量升级管理： 3）SDC操作系统 实现软件与硬件解耦，为AI应用的灵活加载、运行、升级提供系统支持： 服务化接口：实现应用与硬件调用解耦，通过支件读写方式完成对摄像机sensor、云台、音视频调阅、媒体编解码、安全加解密、算法模型运作推理及外设管理、告警订阅、日志及存储能力调用的接口；容器引擎：容器方式隔离算法应用资源的运行环境，使不同法应用可司时在摄像机上井行运行；统一芯片接口：解耦系统与底层芯片的接口，屏蔽芯片及硬件差异，使软件定义摄像机中间件可运行在不同平台，不同芯片的摄像机上应用管理：算法应用的管理，包括算法应用安装、卸载、启动、停正删除及升级。 3.2算法上线流程 在软件定义摄像机系统中算法的开发、部署到应用全流程过程如图4，存在不同的角色及活动，所涉及到的算法全流程过程如下： 开发者基于算法模型训练平台进行模型训练及转换；开发者开发摄像机应用并通过算法调试环境平台进行调试：开发者将AI模型与APP软件打包上传，提交到算法仓库中：客户通过SDC管理器到应用商城下载算法包；客户通过SDC管理器部署算法到自己的SDC中。 4、软件定义摄像机关键技术 4.1云原生通用化OS能力 云原生技术屏蔽芯片厂商、终端厂商操作系统差异，通过容器化服务体系架构部署，实现算法应用仅一次开发就可在不同广商、异构芯片平台的终端上在线 部署： 支持算法应用按需部害，通过在线安装不同应用，从而便捷满定用户层出不穷的新应用场景；支持AI算法模型持续更新，基于与摄像机要装场景相关的数据持续在线进行机器学习模型更新，从而提升模型在场景的精度支持多算法同时并行运行，各算法应用之间资源及故障隔离，单一算法的管理操作不影响其他算法应用。 云原生技术实现应用加载与硬件资源的隔离，各种应用可快速动态加载到异构的硬件平合，并保持应用的安全性。在软件定义摄像机上加载容器化技术需要解决以下关键技术问题： 4.1.1轻量级容器引擎 现有容器技术为云服务而生，受限于终端的软硬件资源，现有容器引擎并不适合泛终端上直接运行，因此需要轻量级的容器引擎，轻量级容器引擎功能及架构如下： 应用管理标准化：支持符合OCI规范的CLI与CRI接口，支持容器应用及标准镜像部署、分发、运行管理的标准化管理接口；容器引擎功能：包括镜像管理、可扩展性、资源管理、生命周期管理等：操作系统要求：可运行在Linux4.6版本以上的机器上，支持Cgroup、namespace:运行资源要求：较少的空间资源需求，保证可以在128MBDDR、128MBFLASH的端侧机器运行。下面是对主流的容器引擎进行对比分析： 在满足AI摄像机硬件的基础上，结合开源生态、功能、性能、开发语言、社区活跃度等因素，可选择Containerd作为基础进行定制开发。 4.1.2模块化的微服务 微服务架构将摄像机功能拆分成彼此独立的功能组件，并提供开放的云原生软件、预封装的文件即服务组件与在线开发环境，力求向不同应用共亨开发与调用流程，满足应用灵活开发、部署的要求： 云原生软件：用于基于微服务的应用开发，实现应用的开发、编译、调测环境和SDC彻底解耦；文件即服务组件：将硬件能力封装成服务文件，实现软硬件分层解耦，无需调用底层硬件APK，从而提升开发效率；在线开发环境：应用开发者可以基于在线平台对AI应用进行开发，验证与部署。 基于功能模块化的微服务使应用开发更敏捷与高效，减少AI应用重复开发的工作，提升开发与上线效率。 4.2标准化服务软硬件解耦 提供标准化服务化能力，基于分层架构实现AI算法应用与硬件及系统的隔离，解决现在AI应用开发与芯片厂商编译工具链紧耦合的问题，避免应用开发者重复开发： 应用开发与硬件的解耦：应用容器开发与硬件API、编译环境解耦，实现一次开发，多端部署；规范调用接口及硬件动态库：向AI应用开发者提供统一应用调用硬件接口，应用通过“文件即服务”定义的接口进行硬件调用。 按照AI摄像机的业务、功能与硬件要求，标准化接口架构如下： 提供文件即服务的硬件能力调用方式，应用通过服务方式通知需要调用芯片SDK的能力;采用标准文件访问接口，基于不同终端硬件与外设采用统一的服务调用过程，使开发的应用可以运行在不同的硬件芯片平台上；统一硬件接口，服务化引擎收到服务调用的信息，采用统一的硬件API接口进行响应，使服务引擎可以在不同摄像机硬件上快速移植加载。 4.2.1文件即服务应用访问 文件即服务（FAAS）是一种实现摄像机硬件虚拟化、硬件资源调用的方法。通过FAAS框架实现应用与底层硬件调用之间的解耦，满足应用在不同场景下对硬件能力调用要求。 文件即服务设计思想，将服务API看作标准的文件操作接口，通过对服务文件的文件操作，如open/read/write/ioctl/mmap/fcntl/close，可以实现对硬件资源的调用。 文件即服务”能提供底层硬件的调用，同时通过隔离应用与硬件SDK，提升系统安全性，文件即服务通过open/ioctl/mmap/fcntl/close进行io控制通过write/read实现io输入输出，poll/epoll/select监控读写操作。 文件即服务包括服务文件与文件即服务引擎，文件即服务引擎主要涉及事件文件触发与共享内存两个技术： 1）事件文件触发 服务文件采用事件文件格式，通过重构系统底层Poll函数实现对服务文件的监控与触发，并向应用提供摄像机硬件与外设的实时调用： 事件订阅：文件即服务引擎通过系统进程的Poll方式对服务文件进行监控，一旦服务文件被修改或写入信息，将立即通知文件即服务引擎。 硬件调用：应用通过标准的Write接口将需要的硬件调用信息写入服务文件，触发服务文件修改的监控： 获取信息：文件即服务引擎被系统进程通知后，立即通过Read接口读取服务文件的内容，并调用对应硬件提供服务。 2）共享内 文件即服务采用高效的共享内核内存的IPC通讯机制，