大疆机载智能算法开发白皮书

大疆机载智能算法开发白皮书总结

智能算力开放平台简介

• 算力开放特点：开放飞行器内置芯片算力，提供算法上机配套开发工具，简化机载模型定制；实现云上算法媒体流融合，实时飞行画面智能检测，基于智能算力的自动作业流；大疆不保存训练样本与模型数据，不提供云端推理平台，不参与算法模型训练。
• 机载算法支持机型：DJI Matrice 4 系列、DJI Matrice 4D 系列、DJI Matrice 400。
• 机载算法开发流程：注册成为开发者，申请开发机载算法权限，获取模型patch并训练，数据准备，本地模型训练，模型转化与验证，模型组合，模型分发（在线或离线）。

机载算法开发流程

• 申请成为开发者：登录大疆开发者网站申请。
• 申请机载算法开放权限：填写公司简介及用户场景介绍，提交申请后进入审核流程。
• 获取模型patch并训练：下载patch文件及适配说明，选择检测算法（YOLOV8）或分割算法（HRNet18）模型进行训练。
• 数据准备：准备充足的训练数据，数据规模越大、质量越高，模型训练效果越好。
• 本地模型训练：在YOLOV8或HRNet-18开源工程基础上，应用patch文件进行训练。
• 模型转化与验证：模型训练完成后，上传模型进行转化，可选进行验证。
• 模型组合：选择对应的分割模型和检测模型，进行模型组合和参数配置。
• 模型分发：量化转化完成的模型可通过在线分发或离线方式分发。

飞行器使用流程

• 获取算法：在DJIPilot2APP首页，进入智能管理页面点击“算法管理”，通过SD卡或云端将算法导入到遥控器。
• 如何使用第三方算法：
  • AI识别功能：在智能算法菜单中可选择已上传飞行器的第三方算法，调节设置置信度，开启告警开关，设置检测及告警条件。
  • 巡逻航线：通过巡逻航线可在规划区域内自动检测目标，设置告警方式及触发动作。
  • 告警列表：在智能管理页面，告警列表功能可查询告警记录，并支持报告导出。

AI算力开放-YOLOV8适配说明

• 网络模型适配及训练：适用于有成熟开发经验的开发者，从github下载mmyolo代码，应用git patch文件，按照官方推荐的config训练网络模型，控制识别类别数量不超过10。
• 重点提示：若要跑4K分辨率模型，需先在yolov8_s_syncbn_fast_8xb16-500e_coco.py中将widen_factor从0.5调整为0.25。
• 不支持修改的参数：Modelrelated相关参数不可修改，Unmodified in most cases以下参数不可修改。
• Linux版本开发流程：安装Anaconda，安装MMYOLO，设置MMYOLO，配置，训练。
• Windows版本开发流程：前期准备（安装Git、Anaconda、CUDA 11.7 + CUDNN 8.5、VC++14.0、创建并配置conda环境、下载MMYOLOv0.6.0源码、应用DJI patch文件、安装MMYOLO依赖），配置训练参数，YOLO标注工具，模型训练（Windows单卡版）。

AI算力开放-HRNet18适配说明

• 网络模型适配及训练：从github下载分割代码，切到对应commitid，应用下载的patch，按照官方推荐的config训练网络模型，控制分割类别数量不超过5个。
• 支持修改的参数：除了部分参数支持修改，其他参数均不能修改。
• 需要提供给DJI进行量化的文件和参数：pth文件，量化标定图片，与输出目标框相关的算法参数。

视频及照片AI信息解析

• 功能特性：图片解析，视频解析，可视化展示，Web界面。
• 目录结构：核心文件（modules/），依赖库（libs/），协议定义（protos/），静态资源（resources/）。
• 运行步骤：环境依赖，启动服务，使用方式（图片解析，视频解析）。
• 集成到您自己的系统：图片解析，视频解析。