[發明專利]紅外圖像的超分辨率方法及計算機可讀存儲介質

有效

• 申請號: 202010916446.4
• 申請日: 2020-09-03
• 公開（公告）號: CN112184547B
• 公開（公告）日: 2023-05-05
• 發明（設計）人: 林玉涵;陳耀高;林文杰;張曉裕;楊景鑫;曾洪源;陳偉民;黃曉聰;吳清勇;羅宇寧;李政凱;吳雪玲
• 申請（專利權）人: 紅相股份有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50;G06N3/045;G06N3/0464;G06N3/0475;G06N3/084;G06N3/094
• 代理公司: 深圳市博銳專利事務所 44275
• 代理人: 汪黎

1.一種紅外圖像的超分辨率方法，其特征在于，包括：

獲取原始紅外圖像，所述原始紅外圖像的像素深度為14位；

分別對各原始紅外圖像進行隨機裁剪，得到原始圖像樣本；

根據預設下采樣倍數，對所述原始圖像樣本進行下采樣，得到所述原始圖像樣本對應的低分辨率圖像，并將所述原始圖像樣本作為標簽，得到訓練樣本對；

構建深度學習模型，所述深度學習模型包括生成對抗模塊和高頻信息提取模塊，所述生成對抗模塊為生成式對抗網絡，包括生成器和判別器，所述高頻信息提取模塊為卷積神經網絡，包括三個卷積層，分別為高頻信息提取層、非線性映射層以及超分辨率重建層；

根據所述訓練樣本對，分別對所述生成對抗模塊和高頻信息提取模塊進行訓練；

獲取待超分辨率的紅外圖像，并分別輸入所述訓練后的生成對抗模塊和高頻信息提取模塊，得到第一輸出圖像和第二輸出圖像；

對所述第一輸出圖像和第二輸出圖像進行像素級融合，得到超分辨率后的紅外圖像；

對所述第一輸出圖像和第二輸出圖像進行像素級融合，得到超分辨率后的紅外圖像具體為：

分別計算所述第一輸出圖像中各像素點對應的N鄰域內的像素點的像素值的方差值，得到各像素點對應的方差值，所述N為預設的數值；

分別計算所述第二輸出圖像中各像素點對應的N鄰域內的像素點的像素值的方差值，得到各像素點對應的方差值；

根據所述第一輸出圖像和第二輸出圖像中同一位置的像素點對應的方差值，計算所述第一輸出圖像中所述同一位置的像素點對應的權重以及所述第二輸出圖像中所述同一位置的像素點的對應權重；

根據所述第一輸出圖像和第二輸出圖像中所述同一位置的像素點的像素值及其對應的權重，計算得到第三輸出圖像中所述同一位置的像素點的像素值。

2.根據權利要求1所述的紅外圖像的超分辨率方法，其特征在于，所述獲取原始紅外圖像之后，進一步包括：

對所述原始紅外圖像進行圖像旋轉、圖像翻轉或圖像平移，得到多張原始紅外圖像。

3.根據權利要求1所述的紅外圖像的超分辨率方法，其特征在于，所述根據所述訓練樣本對，分別對所述生成對抗模塊和高頻信息提取模塊進行訓練具體為：

根據所述訓練樣本對，對所述生成對抗模塊進行訓練；

根據所述訓練樣本對，對所述高頻信息提取模塊進行訓練。

4.根據權利要求3所述的紅外圖像的超分辨率方法，其特征在于，根據所述訓練樣本對，對所述高頻信息提取模塊進行訓練具體為：

將所述訓練樣本對中的低分辨率圖像輸入所述高頻信息提取模塊，通過所述高頻信息提取層提取所述低分辨率圖像的高頻信息，得到n3維的低分辨率高頻信息特征圖，所述n3為所述高頻信息提取層中的濾波器數量；

通過所述非線性映射層將所述n3維的低分辨率高頻信息特征圖映射到n2維的高分辨率高頻信息特征圖，所述n2為所述非線性映射層中的濾波器數量；

根據所述n2維的高分辨率高頻信息特征圖，通過所述超分辨率重建層，生成n2維的高分辨率高頻特征圖像；

根據所述高分辨率高頻特征圖像、所述訓練樣本對中的原始圖像樣本以及預設的損失函數，通過誤差反向傳播算法優化所述高頻信息提取模塊。

5.根據權利要求4所述的紅外圖像的超分辨率方法，其特征在于，所述預設的損失函數為：

其中，表示第n個訓練樣本對中的低分辨率圖像的高頻信息，表示第n個訓練樣本對中的原始圖像樣本的高頻信息，為帶有網絡參數θ的轉移函數，||·||₂²代表向量的二范數的平方，θ^*為損失值。