[發明專利]一種基于遠近景的弱監督超分辨率重建模型及方法

在審

• 申請號: 202010820223.8
• 申請日: 2020-08-14
• 公開（公告）號: CN111915491A
• 公開（公告）日: 2020-11-10
• 發明（設計）人: 孫國梁;王洪劍;陳濤;黃向軍
• 申請（專利權）人: 深圳清研智城科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50
• 代理公司: 上海國智知識產權代理事務所(普通合伙) 31274
• 代理人: 潘建玲

1.一種基于遠近景的弱監督超分辨率重建模型，包括：

數據集構建模塊，用于構建訓練用遠近景分辨率重建數據集，所述數據集中的數據以遠景圖像和隨機抽取的近景圖像為一個訓練樣本；

訓練樣本加載模塊，用于加載訓練樣本；

第一生成器網絡，用于對所加載的訓練樣本的遠景圖像Fi進行重建得到遠景高分辨率圖像Si，并將獲得的遠景高分辨率圖像Si輸入至判別器，同時將獲得的遠景高分辨率圖像Si輸入到第二生成器網絡；

第二生成器網絡，用于對輸入的遠景高分辨率圖像Si進行重建輸出遠景低分辨率圖像fi，輸入所述遠景圖像Fi、第一生成器網絡G輸出遠景高分辨率圖像Si以及第二生成器網絡輸出所述遠景低分辨率圖像fi形成一個閉環；

判別器，用于對經所述第一生成器網絡中重建得到的遠景高分辨率圖像Si與所述訓練樣本的近景圖像Ni進行判別，輸出判別結果。

2.如權利要求1所述的一種基于遠近景的弱監督超分辨率重建模型，其特征在于：所述訓練樣本加載模塊采用批量加載，每次加載若干個樣本，每個訓練樣本包括一遠景圖像以及隨機抽取的近景圖像，在加載時調整每幀圖片尺寸，使用旋轉、翻轉進行數據增強，并對各圖片的像素值進行歸一化處理。

3.如權利要求1所述的一種基于遠近景的弱監督超分辨率重建模型，其特征在于：所述判別器使用CinCGAN判別器的特征編碼網絡分別提取輸入對應的特征圖，然后使用全局池化層將不同尺寸的兩種特征圖池化到相同尺寸，最后用全連接層輸出判別結果0或1。

4.如權利要求3所述的一種基于遠近景的弱監督超分辨率重建模型，其特征在于：使用生成對抗的方式對所述模型進行完整過程的訓練。

5.如權利要求1所述的一種基于遠近景的弱監督超分辨率重建模型，其特征在于：利用Adam作為各生成器和判別器的優化器，學習率衰減方式使用ReduceLROnPlateau方式。

6.一種基于遠近景的弱監督超分辨率重建方法，包括如下步驟：

步驟S1，加載訓練樣本，并于加載時對加載的訓練樣本進行預處理，所加載的訓練樣本包括遠景圖像和近景圖像；

步驟S2，以迭代方式加載訓練樣本的遠景圖像Fi輸入到第一生成器網絡中重建得到遠景高分辨率圖像Si，同時將經第一生成器網絡得到的遠景高分辨率圖像Si輸入到第二生成器網絡，輸出所述遠景高分辨率圖像Si重建得到的遠景低分辨率圖像fi；

步驟S3，將經第一生成器網絡中重建得到的遠景高分辨率圖像Si與所述訓練樣本的近景圖像Ni輸入到判別器，輸出判別結果；

步驟S4，計算判別器損失，并根據該損失進行反向傳播更新判別器參數；

步驟S5，計算各生成器損失，根據求得的損失進行反向傳播更新生成器參數；

步驟S6，在每一輪訓練后利用驗證集中的樣本進行一輪驗證，并于驗證過程中根據各生成器和判別器的平均損失是減小各生成器和判別器學習率；

步驟S7，重復步驟S1-S6，進行迭代優化直到訓練完畢。

7.如權利要求6所述的一種基于遠近景的弱監督超分辨率重建方法，其特征在于，于步驟S1中，批量加載若干訓練樣本，并在加載時調整每幀圖片尺寸，并使用旋轉、翻轉進行數據增強，并對各圖片的像素值進行歸一化處理。

8.如權利要求6所述的一種基于遠近景的弱監督超分辨率重建方法，其特征在于：由所輸入的遠景圖像Fi，第一生成器網絡輸出遠景高分辨率圖像Si，第二生成器網絡最后輸出遠景低分辨率圖像fi，形成閉環。

9.如權利要求6所述的一種基于遠近景的弱監督超分辨率重建方法，其特征在于：于步驟S3中，使用CinCGAN判別器的特征編碼網絡分別提取輸入對應的特征圖，然后使用全局池化層將不同尺寸的兩種特征圖池化到相同尺寸，最后用全連接層輸出判別結果0或1。

10.如權利要求6所述的一種基于遠近景的弱監督超分辨率重建方法，其特征在于：于步驟S6中，判斷各生成器的平均損失是否一直減小，若保持連續patience次不減小，則以設定倍數減小生成器學習率；若判別器的的平均損失連續patience次不減小，則以設定倍數減小判別器學習率。