[發明專利]一種圖像的超分辨率重建方法及系統

在審

• 申請號: 202010051767.2
• 申請日: 2020-01-17
• 公開（公告）號: CN111461973A
• 公開（公告）日: 2020-07-28
• 發明（設計）人: 陶文兵;陳中雨
• 申請（專利權）人: 華中科技大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06K9/62;G06N3/08
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 李智

1.一種圖像的超分辨率重建方法，其特征在于，包括以下步驟：

S1、對待處理的低分辨率圖像進行分塊，得到多個圖像塊；

S2、基于圖像的通道注意力機制和位置注意力機制，在不同深度上提取各圖像塊的特征，得到各圖像塊對應的不同深度的特征圖；

S3、對各圖像塊對應的不同深度的特征圖進行融合，根據圖像超分倍數，對所得融合后的特征圖進行圖像重建，得到各超分辨率圖像塊；

S4、將所得的各超分辨率圖像塊進行重組，得到高分辨率圖像。

2.根據權利要求1所述的圖像的超分辨率重建方法，其特征在于，所述S2包括以下步驟：

S21、采用卷積神經網絡提取圖像塊的淺層特征，得到淺層特征圖；

S22、采用已訓練好的深層特征提取網絡，分別在不同深度上提取淺層特征圖的通道注意力特征和位置注意力特征，將二者進行融合，得到圖像塊對應的不同深度的特征圖；

其中，所述深層特征提取網絡包括N個級聯的基于注意力模型的雙注意力卷積神經網絡，與N個深度一一對應，N為大于等于2的正整數。

3.根據權利要求2所述的圖像的超分辨率重建方法，其特征在于，所述雙注意力卷積神經網絡包括通道注意力模型、位置注意力模型和融合層；

所述通道注意力模型的輸出端與所述融合層的輸入端相連，所述位置注意力模型的輸出端與所述融合層的輸入端相連；

所述通道注意力模型用于基于通道注意力機制，通過計算輸入特征圖各通道的像素平均值，得到通道注意力初始權重，對其進行調整后，與輸入特征圖進行點乘，得到輸入特征圖的通道注意力特征；

所述位置注意力模型用于基于位置注意力機制，通過在輸入特征圖各像素位置點處計算各通道像素的平均值，得到位置注意力初始權重，對其進行調整后，與輸入特征圖進行點乘，得到輸入特征圖的位置注意力特征；

所述融合層用于將所得通道注意力特征和位置注意力特征進行融合。

4.根據權利要求3所述的圖像的超分辨率重建方法，其特征在于，第c個通道的通道注意力初始權重為：

其中，c＝1,2,…,L，L為輸入特征圖X的通道數，H為輸入特征圖X的高，W為輸入特征圖X的寬，X_c(i,j)為輸入特征圖X第c個通道上第i行第j列的特征值。

5.根據權利要求3所述的圖像的超分辨率重建方法，其特征在于，第i行第j列的位置注意力初始權重為：

其中，i＝1,2,…,H,j＝1,2,…,W，H為輸入特征圖X的高，W為輸入特征圖X的寬，δ為激活函數，L為輸入特征圖X的通道數，X_i,j,c為輸入特征圖X第c個通道上第i行第j列的特征值。

6.根據權利要求1所述的圖像的超分辨率重建方法，其特征在于，所述S3中對各圖像塊對應的不同深度的特征圖進行融合的方法，包括：對圖像塊對應的不同深度的特征圖在特征通道上拼接后，進行卷積降維，得到融合后的特征圖。

7.一種圖像的超分辨率重建系統，其特征在于，包括：圖像截取模塊、特征提取模塊、圖像重建模塊以及圖像重組模塊；

所述圖像截取模塊用于對待處理的低分辨率圖像進行分塊，得到多個圖像塊，并輸出到所述特征提取模塊中；

所述特征提取模塊用于基于圖像的通道注意力機制和位置注意力機制，在不同深度上提取所述圖像截取模塊輸入的各圖像塊的特征，得到各圖像塊對應的不同深度的特征圖，并輸出到所述圖像重建模塊中；

所述圖像重建模塊用于對各圖像塊對應的不同深度的特征圖進行融合，根據所需圖像超分倍數，對所得融合后的特征圖進行圖像重建，得到各超分辨率圖像塊，并輸出到所述圖像重組模塊中；

所述圖像重組模塊用于將圖像重建模塊輸入的各超分辨率圖像塊進行重組，得到高分辨率圖像。