[發明專利]一種基于深度學習的紅外圖像超分辨率重建方法

有效

• 申請號: 202010734945.1
• 申請日: 2020-07-28
• 公開（公告）號: CN112001843B
• 公開（公告）日: 2022-09-06
• 發明（設計）人: 陳錢;展夢靈
• 申請（專利權）人: 南京理工大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/00;G06T11/00;G06N3/04;G06N3/08
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 朱沉雁

1.一種基于深度學習的紅外圖像超分辨率重建方法，其特征在于，步驟如下：

步驟1、采集一段紅外視頻，將其分為若干幀紅外圖像，轉入步驟2；同時基于通道注意力機制殘差學習圖像超分辨率重建算法，建立低分辨率圖像與高分辨率圖像之間的關系模型，轉入步驟3；

步驟2、將若干幀紅外圖像分別進行圖像增強預處理，獲得各幀對應的增強圖像R(x，y)，轉入步驟4；

步驟3、利用可見光數據集學習低分辨率圖像與高分辨率圖像之間的關系模型，獲得圖像超分辨率重建模型，轉入步驟4；

步驟4、將各幀對應的增強圖像R(x，y)依次輸入圖像超分辨率重建模型，進行超分辨率重建，從而得到分辨率更高的紅外圖像，轉入步驟5；

步驟5、將各幀重建后的紅外圖像進行整合輸出，得到信息更為豐富的紅外圖像視頻；

步驟1中，基于通道注意力機制殘差學習圖像超分辨率重建算法，建立低分辨率圖像與高分辨率圖像之間的關系模型，具體步驟如下：

選擇任意一個標準數據集，將所述標準數據集中的高分辨率圖像I_HR進行下采樣獲得低分辨率圖像I_LR，通過卷積層C₁得到第一中間變量F₀，F₀通過若干個基于通道注意力機制的殘差學習塊H_B得到第二中間變量F_b，再通過一個卷積層C₂得到第三中間變量，第三中間變量與F₀相加得到第四中間變量F_DF，最后通過一個上采樣層和一個卷積層C₃獲得超分辨率圖像I_SR，將I_SR與用于訓練的高分辨率圖像I_HR進行比較，通過反向傳播過程修改低分辨率圖像重建的模型參數的權重，通過多次學習最終獲得泛化能力較高的深度學習模型，即低分辨率圖像與高分辨率圖像之間的關系模型，具體計算公式如下：

F_b＝H_BF_b-1；

其中為卷積層C₃的函數；H_UP為上采樣層函數；卷積層C₂的函數，為卷積層C₁的函數，F_b-1為第五中間變量；

所述基于通道注意力機制的殘差學習塊H_B，具體計算如下：

輸入數據第五中間變量F_b-1通過一個卷積層W_b-1，1、一個ReLU層、一個卷積層W_b-1，2得到第六中間變量X_b-1，再通過由一個全局池化層、一個卷積層W_b-1，3、一個ReLU層、一個卷積層W_b-1，4和一個激活函數組成的通道注意力機制結構，獲得第七中間變量s，s與第六中間變量X_b-1進行卷積得到第八中間變量X_b，將X_b與F_b-1相加得到第二中間變量F_b，具體公式如下：

F_b＝F_b-1+X_b；

X_b＝X_b-1*s；

s＝f(W_b-1，4δ(W_b-1，3Z))；

Z＝H_GP(X_b-1)；

X_b-1＝W_b-1，2δ(W_b-1，1F_b-1)；

其中，H_GP為全局池化函數，Z為經過全局池化函數之后的第九中間變量，f為sigmoid激活函數，δ為ReLU函數；

步驟2中將若干幀紅外圖像分別進行圖像增強預處理，獲得增強圖像R(x，y)，具體包括以下步驟：

步驟2-1、分別獲取若干幀紅外圖像的像素；

步驟2-2、利用基于Retinex的圖像增強算法對紅外圖像進行預處理，公式如下：

I(x，y)＝L(x，y)*R(x，y)；

I為紅外圖像，L為環境光的照射分量，R為攜帶圖像細節的目標本身的反射分量，即為增強圖像；環境光的照射分量L不能直接獲得，通常利用高斯模糊來代替，公式如下：

其中，G(x，y)表示一個高斯核。