CSIG图像图形学科前沿讲习班一大模型时代的机器视觉：低空环境智能感知关键技术及应用

研究背景 VisDrone数据平台二 低空感知脑三 未来工作四 研究背景 VisDrone数据平台二 低空感知脑三 未来工作四 低空经济产业已成为国家战略支柱产业，雄安先行先试标杆 2025年10月，党的二十届四中全会颁布《中共中央关于制定国民经济和社会发展第十五个五年规划的建议》，其中明确指出“打造新兴支柱产业，加快低空经济等战略性新兴产业集群发展，催生数个万亿元级甚至更大规模的市场”。 《中共中央关于制定国民经济和社会发展第十五个五年规划的建议》 《关于支持低空经济产业发展的若干措施》通知旨在抢抓低空经济产业密集创新和高速增长的战略机遇，推动雄安新区低空经济产业高质量发展 雄安新区于2024年7月发布《关于支持低空经济产业发展的若干措施》，明确通过雄安国创中心等平台推动产业生态构建 措施鼓励新区在航空物流应急救援智慧城市运营管理AI巡检环境监测低空旅游等领域打造标杆性应用场景 低空智能感知体系深化赋能经济转型 无人机已在安防巡检、水情监测和应急搜救等领域得到广泛应用 复杂环境下，低空智能感知面临“看不清”，“看不准”和“看不全”的挑战 无人机高速飞行，目标位置密集且动态变化，降低了感知准确度 雨雪雾恶劣天气和低光照环境降低了无人机对目标的感知清晰度 研究背景一 VisDrone数据平台二 低空感知脑三 关键平台：建立了复杂环境协同感知数据平台（TPAMI 2022） 构建了大规模多源、多模态、多任务、非完备复杂环境协同感知数据平台VisDrone，覆盖单机和多机协同感知任务。 反无人机微小目标检测数据集（ECCV 2024） 通过数据、模型、场景的三维融合展示，为政府、企业、公众提供低空领域的一站式资源入口，构建百城空域的数据算法基石，让低空经济"看得见"、"管得好"。 平台优势 智能化升级，效率倍增长通过AI技术赋能，实现城市巡检从传统人工模式向智 能化、标准化、规模化的跨越式升级 u2024全球人工智能技术创新大赛-算法挑战赛 构建世界上规模最大无人机视觉数据平台VisDrone 科技奖励 基础平台建设 理论研究 l吴文俊人工智能科技进步奖一等奖l吴文俊人工智能优秀青年奖l天津市自然科学一等奖l黑龙江省自然科学一等奖l天津市科技进步奖二等奖l中国智能交通协会科技进步奖二等奖l2022 CVPR视觉语言多模态挑战赛冠军l2023 CVPR开放世界目标检测挑战赛冠军l2024昇腾AI创新大赛天津区域决赛高校赛道金奖 团队荣获吴文俊人工智能科技进步奖一等奖等科技奖励 从被动感知到自主协同，构建支撑具身智能体与集群协同进化的下一代数据基座 研究背景一 VisDrone数据平台二 多模态动态协同感知技术 多模态协同感知面临低空感知场景高动态、模态主导难选择、现实低质量数据退化类型复杂的挑战难点。 创新：提出局部到全局的混合专家多模态动态模型构建“模态-场景”动态感知关联(ICCV2023) 模型动态学习模态-场景的关联信息，实现场景样本自适应的多模态动态融合 创新：基于双向Adapter的多模态追踪视觉提示框架(BAT)实现了出色的多模态互补性（AAAI 2024） 双向Adapter结构简单、高效（仅添加0.32M可学习参数），以通用的方式将互补特征从一种模态转移到另一种模态。每个模态分支从其他模态中学习提示信息，与当前模态的特征信息相结合，增强表征能力。 在多模态非固定关联范式中动态地相互融合主导-辅助模态信息 创新：提出任务自适应门控的多模态专家协同模型解决多种类型退化干扰下融合难题(ICML2025) 动态感知低质量图像退化类型，提示引导专家协同学习，实现All-in-One退化多模态图像融合 复杂环境低代价感知技术 复杂环境下低空视觉感知面临通用表征学习模型缺乏、任务定制表征学习难等挑战难点。 n建立超过10亿图像/视频帧数据库，开发低空多模态视觉推理大模型 建立低空无人机视觉计算领域和多个平台兼容的模型库并实现大小模型协同进化 创新：动态兼容多任务的通用图像融合(CVPR 2024) 统一多任务阶段以提示为依据进行融合 兼容多任务阶段为输入定制融合提示 模型能够根据不同的融合任务动态定制不同的adapters混合来获得融合提示在统一模型基础上兼容不同融合任务的差异，并动态指导融合结果的生成。 创新：构建数据-标签关联，通过稀疏标签引导非对称掩码重建，实现精准无人机视频计数(ICLR 2025) 在多个数据上性能优异，构建大规模无人机视频计数数据集，助力候鸟保护 创新：基于高阶预测器器解耦优化的视觉基础模型推理高效微调(ICCV2025) 偏置模块 解耦优化 先学习低级特征的生成随后提升判别能力 减少阶段间影响Øloss↓➫判别能力↑ 基于早退策略在视觉基础模型前端引入高判别高阶预测器，设计两阶段损失权重分配策略提升早期预测器准确性，30%内存消耗的准确率接近全推理性能 智能无人集群协同感知与进化技术 智能无人集群空空、空地协同学习中面临模型通用表征学习能力弱、多源目标表观差异大、多智能体协同交互难、空地跨视角差异显著等难题。 创新：构建TransMDOT的多机协同追框架解决多无人机单目标跟踪协同共享难题（TCSVT 2023） 利用Transformer搭建了一种多机协同追踪架构： •利用Transformer Encoder实现模板与搜索区域的自动建模。•对多个模板的注意力权重加权作为依据剪枝Token，用于加速训练和推理。 创新：构建多机协同多目标追踪数据集以及协同追踪框架（TMM 2023） 1、通过全局、局部匹配结合的多视角图像匹配方法，进行跨机目标关联，实现双机协同追踪2、设计详细的ID分配策略，实现精确的ID继承与更新，减少ID switch，对遮挡目标进行有效补充 为多机协同追踪任务提供数据平台促进多视角间图像匹配、目标重识别、协同检测与追踪等领域发展 创新：针对开放环境下的群智演化，提出兼顾专业性和通用性的社会化学习范式（ICML 2024） n社会化学习范式可以通过智能体之间的关键样本交互和知识交互，从而实现新知识学习n在保留个体原先任务认知能力的基础上，获取其他智能体的任务知识，进而实现机器社会中多个个体的协同进化 社会化学习通过多智能体间数据与知识的定向性交互共享，实现了协同进化 n社会化协同进化范式可以通过智能体之间的层级化动态交互和协同，从而实现知识的传递与增强n在提升个体原先下游任务认知能力的基础上，整体解决不同下游任务能力得到增强，实现跨任务协同进化 社会化协同进化通过多智能体间数据与知识的层级化动态交互，实现了跨任务群智演化 构建跨平台（无人机+路面摄像头）多模态（可见光+热红外）空地协同感知数据集 创新：提出针对空地协同感知任务的解耦多粒度模型 模型可以显著捕获全局和局部判别特征，提升模型对空地协同感知中剧烈视角/尺度变化及局部遮挡的鲁棒性。 建立空地跨任务协同平台，实现异构设备、多视角的跨域协同感知 实现空地异构协同感知一体化，驱动跨域任务效能最大化 研究背景 VisDrone数据平台二 无人集群协同感知脑三 面临低空智能感知挑战，展开“数据筑基、模型驱动、智能进化、安全护航” 1低空视觉数据集2反无人机感知探测3低空基座模型4低空底层视觉5低空目标检测6低空目标计数7低空目标跟踪8多传感器对齐9多模态动态融合10多模态可信融合11低空具身智能12空地协同感知13多机协同感知14开放世界学习15类别增量学习16低空智能体17多智能体学习18社会化学习