An Infrared Sequence Image Generating Method for Target Detection and Tracking

（分析基于deeppaper.ai生成）

研究问题

本文旨在解决以下问题：

红外序列图像数据匮乏问题： 深度学习训练红外目标检测和跟踪模型需要大量红外序列图像，但真实红外图像获取成本高昂。
传统仿真方法真实性不足问题： 传统的红外图像仿真方法难以保证数据的真实性，无法满足深度学习模型训练的需求。
现有方法无法灵活编辑目标和轨迹的问题： 现有的基于深度学习的红外图像生成方法无法根据需要添加红外目标，也无法编辑飞行轨迹和姿态，这限制了红外目标数据集的生成。

方法

本文提出了一种结合真实红外图像和模拟3D红外目标的新型红外数据仿真方法，主要步骤如下：

红外背景拼接： 将真实红外图像拼接成全景图像，作为仿真背景，避免了复杂的地物红外建模。
红外目标建模： 基于红外辐射理论，对3D飞机的尾喷管、蒙皮和尾焰等关键部位进行红外特性模拟，生成具有真实红外辐射特征的目标。
Unity3D融合： 基于 Unity3D 引擎，将背景和目标融合，并提供飞行轨迹编辑工具，可以自由编辑飞机轨迹和姿态，生成丰富的多目标红外数据。
实验验证： 通过主观视觉分析和客观算法性能测试，验证了生成图像的真实性和有效性。使用了两个算法（Tianjun et al., 2019; Xianbu et al., 2019）在真实红外数据和模拟数据上进行测试，并比较了准确检测率 (Acc)、正确检测率 (Corr)、漏检率 (Miss) 和误报率 (FA) 等指标。

关键结果

本文的主要研究结果和贡献包括：

提出了一种结合真实背景和模拟目标的红外数据生成方法： 该方法能够生成具有高真实性的多目标红外仿真数据，避免了复杂的地物红外建模问题。
实现了基于Unity3D的红外场景融合和目标编辑： 该方法可以自由添加飞机类型和数量，编辑飞机轨迹和姿态，生成丰富的多目标红外仿真数据。
验证了生成数据的有效性： 实验结果表明，生成的仿真图像在视觉上与真实红外图像相似，并且在目标检测算法性能方面与真实红外图像表现出一致性。
为深度学习模型提供训练和测试样本： 该方法可以为红外目标检测和跟踪的深度学习模型提供训练和测试样本。

深度解析

fncom-16-930827-g001

│   ├── 处理层
│   │   ├── 核心算法
│   │   │   ├── 3D目标红外辐射建模
│   │   │   │   ├── 尾喷管辐射模型
│   │   │   │   │   └── 基于普朗克定律，考虑温度和材料辐射率
│   │   │   │   ├── 飞机蒙皮辐射模型
│   │   │   │   │   └── 考虑大气环境温度和摩擦生热
│   │   │   │   └── 尾焰辐射模型
│   │   │   │       └── 考虑喷注气体温度和压力
│   │   │   └── 基于Unity3D的融合
│   │   │       └── 将3D目标和全景背景融合
│   │   └── 处理流程
│   │       ├── 建立3D模型
│   │       ├── 建立红外辐射模型
│   │       ├── 全景图拼接
│   │       ├── 轨迹编辑
│   │       └── Unity3D融合

Infrared Dim and Small Target Sequence Dataset Generation Method Based on Generative Adversarial Networks

研究问题

本文旨在解决红外微弱小目标检测中数据集覆盖不足和实际拍摄成本高昂的问题。核心研究问题是：如何利用生成对抗网络（GANs）生成高质量的红外微弱小目标序列数据集，以有效扩展图像数据，为红外小目标检测和识别算法提供测试集，并提高基于深度学习的红外微弱小目标检测的准确性和效果。具体包括：
* 如何生成逼真的红外天空背景图像？
* 如何模拟红外小目标的特征，并将其与背景图像合理融合，生成包含目标运动参数变化的序列图像？
* 生成的数据集能否有效提升现有深度学习模型的检测精度？

方法

本文采用基于生成对抗网络（GANs）的方法生成红外微弱小目标序列数据集，具体步骤如下：
* 红外天空背景生成： 使用改进的深度卷积生成对抗网络（ISD-DCGAN），通过ResNet残差模块和Wasserstein距离损失函数，提升模型训练的稳定性和生成图像的质量，生成256x256的红外天空背景图像。
* 红外小目标模型创建： 使用3ds Max软件建模飞机和导弹等目标，并添加热源效果，模拟目标的红外辐射强度。
* 目标-背景图像序列构建： 基于改进的条件生成对抗网络，结合多尺度特征提取和融合机制以及注意力机制，将目标和背景图像进行合成，并根据目标的空间位置和大小等约束参数，生成合理的序列图像。U-net结构被用于生成器，跳跃连接技术被用于保留原始图像信息。
* 数据集标签生成： 使用LabelImg工具手动标注目标区域，生成数据集标签。实验部分，作者使用生成的20,000个数据集，以及MDvsFA数据集，分别训练Dense Nested Attention Network (DNANET), Attention-Guided Pyramid Context Network (AGPCNet) 和 Interior Attention-Aware Network (IAANET)模型，并在SIRST数据集上进行测试，以验证生成数据集的有效性。使用结构相似性指数度量 (SSIM) 评估生成图像的质量。

关键结果

本文的主要研究结果如下：
* 提出了基于ISD-DCGAN的红外天空背景生成方法，通过引入ResNet残差模块和Wasserstein距离，有效提升了生成图像的质量和训练稳定性。实验结果表明，改进后的网络结构能够更好地收敛到稳定状态。
* 提出了基于改进的条件GAN的目标-背景图像序列构建方法，通过多尺度特征提取和融合以及注意力机制，实现了目标与背景的合理合成，并模拟了目标运动过程中的参数变化。
* 生成的数据集具有较高的结构相似性（SSIM）与真实红外图像，表明生成的数据集具有较高的质量。
* 使用生成的数据集训练深度学习模型，在SIRST数据集上的测试结果表明，与使用MDvsFA数据集训练的模型相比，检测精度有所提升，验证了生成数据集的有效性。例如，使用生成的数据集训练的IAANET模型，目标检测率Pd从0.642提升到0.705，虚警率Fa从0.811降低到0.753。总而言之，本文提出的方法能够有效地生成高质量的红外微弱小目标序列数据集，为红外目标检测领域提供了新的数据来源，并有助于提升现有深度学习模型的检测性能。

深度解析

处理层
│   │   ├── 核心算法
│   │   │   ├── 改进的深度卷积生成对抗网络 (ISD-DCGAN) (Improved Deep Convolutional Generative Adversarial Network)
│   │   │   └── 改进的条件生成对抗网络 (Improved Conditional Generative Adversarial Networks)
│   │   └── 处理流程
│   │       ├── 1. 使用ISD-DCGAN生成红外天空背景图像 (Generating infrared sky background images using ISD-DCGAN)
│   │       ├── 2. 使用3ds Max创建红外小目标模型 (Creating infrared small target models using 3ds Max)
│   │       ├── 3. 通过改进的条件GAN，将目标和背景融合，生成目标-背景图像序列 (Fusing target and background using improved conditional GAN to generate target-background image sequences)
│   │       └── 4. 使用LabelImg工具手动标注数据集 (Manually labeling the dataset using LabelImg)

THERMAL TEXTURE GENERATION AND 3D MODEL RECONSTRUCTION USING SFM AND GAN

研究问题

本研究旨在解决红外图像中特征点缺失和传感器分辨率低导致的难以自动生成3D模型的问题。核心目标是提出一种新方法，利用可见光图像，结合运动结构重建(Structure from Motion, SfM)流程和生成对抗网络(Generative Adversarial Networks, GAN)，生成具有热纹理的逼真3D模型。
* 如何利用可见光图像生成具有热纹理的逼真3D模型，克服红外图像的局限性？
* 如何改进GAN的训练方法，使其能够更有效地进行可见光图像到热红外图像的转换，并避免生成不真实的伪影？

方法

该研究提出了一种新的流程，包括以下步骤：
* 数据收集： 使用FLIR ONE PRO相机收集包含2000对可见光和红外图像的数据集，涵盖人、猫、狗、汽车、建筑物五个类别。
* 3D模型生成： 使用可见光图像，通过SfM流程生成稀疏点云和稠密点云，并使用AgiSoft Photoscan软件进行处理。
* GAN训练： 使用pix2pix框架，并对其进行改进，包括修改U-Net生成器架构和设计新的损失函数。
* 迭代训练方法： 提出一种迭代训练方法，在传统的GAN训练流程中引入“专家”角色，通过手动选择前一轮生成的非真实热图像作为负样本，提供给判别器网络，从而提高判别器的性能。
* 热纹理生成： 将可见光图像输入训练好的生成器网络，生成热纹理，并将其应用于3D模型。
* 模型评估： 使用真实红外图像的测试集，通过计算均方根误差(Root Mean Square Error, RMS)评估生成的热图像质量。同时，使用PASCAL VOC 2012数据集评估生成器的泛化能力，并通过视觉检查评估合成图像的质量。

关键结果

该研究的主要发现和贡献包括：
* 提出了一种新的基于SfM和GAN的3D模型生成方法，能够利用可见光图像生成具有逼真热纹理的3D模型。
* 提出了一种改进的GAN训练方法，通过引入“专家”角色和负样本，提高了GAN在可见光到热红外图像转换任务中的性能，降低了热图像重建误差。实验结果表明，相较于传统的pix2pix方法，该方法在汽车、房屋、人类等类别上均取得了更低的RMS误差（例如，汽车类别的RMS误差从18.191降低到14.740）。
* 构建了一个包含2000对可见光和红外图像的数据集，为热图像合成和相关研究提供了数据基础。
* 验证了该方法在3D模型生成和热纹理生成方面的有效性，生成的3D模型和热纹理在热辐射率和几何形状上都与真实模型相似。Škoda Fabia模型的RMS误差为8 ADU，Citroën C3模型的RMS误差为6 ADU。

深度解析

│   ├── 处理层
│   │   ├── 核心算法
│   │   │   ├── SfM (Structure from Motion)
│   │   │   │   └── 使用 Agisoft Photoscan 软件生成稀疏和稠密点云 (generate point pairs, a sparse point cloud, and a dense point cloud)
│   │   │   └── ThermalGAN
│   │   │       ├── 生成器 (Generator): 基于 U-Net 的改进版本 (modified version of the U-Net)
│   │   │       ├── 判别器 (Discriminator): 基于 PatchGAN 分类器 (based on PatchGAN classifier)
│   │   │       └── 损失函数 (Loss function): 改进的 GAN 损失函数 L_GAN3 (modified loss function L_{GAN3})
│   │   └── 处理流程
│   │       ├── 可见光图像用于 SfM 生成点云 (Visible images for SfM point cloud generation)
│   │       └── 可见光图像输入 ThermalGAN 生成热红外图像 (Visible images input to ThermalGAN for thermal image generation)