RSDMF-DETR: A Remote Sensing Direction-aware Multi-scale Fusion Detection Transformer

方法

自建无人机遥感数据集，在RT-DETR基础上加入RSDA与SE-BCSA模块。

发现

AP50达89.5%、AP50:95达67.1%，较RT-DETR-R18分别提升2.0和0.8个百

机会点

可探索模型在无人机边缘平台的轻量化部署，并拓展至风电场巡检与空间信息管理。

摘要 随着风电规模的扩大，基于无人机（UAV）的遥感技术已成为智能巡检、运维和风能资源评估中风电机组目标检测的重要手段。与传统人工巡检相比，无人机遥感具有非接触作业、覆盖范围广、获取速度快和空间分辨率高等优势。然而，风电机组目标存在显著的尺度变化、方向多样性和复杂背景，给特征表示、多尺度融合和鲁棒检测带来挑战。为解决这些问题，本文构建了一个无人机遥感数据集，并提出了一种遥感方向感知多尺度融合检测Transformer（RSDMF-DETR），这是一个面向任务的分阶段框架，将现有特征提取组件与两个自行设计的模块相结合，即遥感空间方向注意力（RSDA）和尺度增强双向通道-空间注意力（SE-BCSA）。具体而言，主干网络采用现有的上下文引导模块（CGB）对局部纹理信息和上下文语义线索进行联合建模，从而改善复杂背景下的特征表示。遥感方向感知编码网络（RDEN）将现有的GSConv和VoVGSCSP组件与所提出的RSDA模块相结合，以增强特征编码、跨层聚合和方向结构表示。最后，遥感多尺度自适应融合（RMAF）阶段将现有的DynamicScalSeq组件与所提出的SE-BCSA模块相结合，以增强跨尺度特征对齐和通道-空间特征细化。在自建无人机遥感数据集上的实验结果表明，RSDMF-DETR达到了89.5%的〖AP〗_(IoU=50)和67.1%的〖AP〗_(IoU=50:95)，分别比RT-DETR-R18提高了2.0和0.8个百分点。这些结果表明，所提出的分阶段策略有效整合了上下文、方向和多尺度特征表示，用于复杂遥感条件下的风电机组检测。RSDMF-DETR可为风电场巡检、定位和空间信息管理提供目标级信息。其在实际无人机或边缘计算平台上的部署和性能尚未经过实验验证，仍有待未来工作研究。