[發明專利]一種基于深度學習的聯級超分辨率重建的方法及裝置

有效

• 申請號: 201910143361.4
• 申請日: 2019-02-26
• 公開（公告）號: CN109949224B
• 公開（公告）日: 2023-06-30
• 發明（設計）人: 王玄音;馬洪兵;劉剛;顧桂華
• 申請（專利權）人: 北京悅圖遙感科技發展有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/0464
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩;李相雨

1.一種基于深度學習的聯級超分辨率重建的方法，其特征在于，包括：

獲取欲進行超分辨率重建的初始圖片和欲將所述初始圖片的分辨率提高的目標倍數；

將所述初始圖片輸入到預先訓練的超分辨率重建模型中，獲取由所述超分辨率重建模型輸出的與所述目標倍數匹配的目標圖片，輸出所述目標圖片；

其中，所述超分辨率重建模型由初始構建模型通過機器學習訓練得到；所述初始構建模型包括依次連接的至少兩個聯級組，前一聯級組的輸出作為后一聯級組的輸入；每一聯級組內均包括卷積層結構和平行反卷積層結構，卷積層結構的輸出作為平行反卷積層結構的輸入，平行反卷積層結構中包括至少兩個并聯的反卷積層。

2.根據權利要求1所述的方法，其特征在于，對于所述初始構建模型中的任一非首個聯級組，所述非首個聯級組中的平行反卷積層結構的輸入包括所述非首個聯級組中的卷積層結構的輸出和殘差計算結果；

其中，所述殘差計算結果為所述非首個聯級組的前一聯級組的輸出和所述初始圖片進行殘差計算的結果。

3.根據權利要求1所述的方法，其特征在于，所述初始構建模型通過機器學習訓練得到所述超分辨率重建模型，包括：

獲取樣本圖片和欲使得所述超分辨率重建模型對輸入的圖片提高的至少兩個預設倍數，對每一預設倍數，將所述樣本圖片的分辨率降低所述預設倍數得到與所述預設倍數對應的圖片，得到與各預設倍數對應的圖片組成的第一圖片集合；

以所述第一圖片集合作為所述初始構建模型的輸入樣本，以由相應數量的所述樣本圖片組成的第二圖片集合作為輸出樣本，通過若干組所述輸入樣本和所述輸出樣本對所述初始構建模型進行訓練，將訓練出的模型作為所述超分辨率重建模型；

其中，所述第二圖片集合中的所述樣本圖片的數量等于所述第一圖片集合中的圖片數量。

4.根據權利要求3所述的方法，其特征在于，在對所述初始構建模型進行訓練的過程中還包括：

獲取將輸入樣本輸入當前訓練的初始構建模型后得到的輸出圖片集合，若輸出圖片集合中的每一圖片與所述樣本圖片的分辨率偏差均在預設的誤差函數的容差范圍內，則將當前訓練的初始構建模型作為所述超分辨率重建模型。

5.根據權利要求1所述的方法，其特征在于，所述將所述初始圖片輸入到預先訓練的超分辨率重建模型中，包括：

獲取所述超分辨率重建模型能輸出的不同倍數的圖片數量，作為設定倍數數量，將數量等于所述設定倍數數量的所述初始圖片輸入到預先訓練的超分辨率重建模型中。

6.根據權利要求1所述的方法，其特征在于，每一聯級組內的卷積層結構包括至少兩個依次連接的卷積層，前一卷積層的輸出作為后一卷積層的輸入，且每一卷積層的特征圖采用PReLu函數計算。

7.根據權利要求1所述的方法，其特征在于，所述初始構建模型包括依次連接的5個聯級組，每一聯級組內的卷積層結構包括3個依次連接的卷積層，每一聯級組內的平行反卷積層結構包括3個并聯的反卷積層。

8.一種基于深度學習的聯級超分辨率重建的裝置，其特征在于，包括：

獲取模塊，用于獲取欲進行超分辨率重建的初始圖片和欲將所述初始圖片的分辨率提高的目標倍數；

處理模塊，用于將所述初始圖片輸入到預先訓練的超分辨率重建模型中，獲取由所述超分辨率重建模型輸出的與所述目標倍數匹配的目標圖片，輸出所述目標圖片；

其中，所述超分辨率重建模型由初始構建模型通過機器學習訓練得到；所述初始構建模型包括依次連接的至少兩個聯級組，前一聯級組的輸出作為后一聯級組的輸入；每一聯級組內均包括卷積層結構和平行反卷積層結構，卷積層結構的輸出作為平行反卷積層結構的輸入，平行反卷積層結構中包括至少兩個并聯的反卷積層。