[發明專利]基于風格遷移的核磁圖像超分辨率方法、裝置及計算機存儲介質

在審

• 申請號: 202211353715.6
• 申請日: 2022-11-01
• 公開（公告）號: CN115936983A
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 叢山;楊宇尊;姚曉輝;羅昊燃;魏怡明;劉宏偉
• 申請（專利權）人: 青島哈爾濱工程大學創新發展中心
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/045;G06N3/0455;G06N3/0464;G06N3/0475;G06N3/08
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 張俊范

1.一種基于風格遷移的核磁圖像超分辨率方法，其特征在于，步驟1、由非配對的高清圖像和低清圖像數據集訓練改進的Transformer模型；

步驟2、將待配對的高清圖像輸入所述步驟1訓練后的改進的Transformer模型輸出對應的配對低清圖像，由所述待配對的高清圖像與所述配對低清圖像組對構成對抗生成網絡訓練集；

步驟3、由所述步驟2得到的對抗生成網絡訓練集訓練對抗生成網絡；

步驟4、將核磁圖像輸入所述步驟3訓練后的對抗生成網絡得到高清核磁圖像；

所述改進的Transformer模型包括兩個線性映射層、兩個Transformer編碼器、Transformer解碼器和卷積神經網絡上采樣器，其中兩個Transformer編碼器的每一層由一個多頭自注意模塊和一個前饋網絡組成，原始高清圖像通過剪裁和一個線性映射層得到內容圖像塊序列，加上經過具有內容感知的位置編碼的高清圖像共同輸入一個Transformer編碼器得到內容序列，低清圖像通過剪裁和另一個線性映射層得到風格圖像塊序列，輸入另一個Transformer編碼器得到風格序列；Transformer解碼器的每一層由兩個多頭自注意模塊和一個前饋網絡組成，所述內容序列和風格序列共同輸入所述Transformer解碼器解碼后由所述卷積神經網絡上采樣器進行放大輸出。

2.根據權利要求1所述的基于風格遷移的核磁圖像超分辨率方法，其特征在于，所述經過具有內容感知的位置編碼的高清圖像中具有內容感知的位置編碼方法為：將圖像剪裁為圖像塊，通過線性映射層將圖片塊映射為一個連續的特征編碼序列ε，圖像的位置編碼的序列為

其中AvgPool_n×n是平均池化函數，是1x1的卷積操作，是可學習的相對位置關系，n是位置編碼圖像塊的長寬，a_kl為插值權重，s為相鄰補丁的數量。

3.根據權利要求1所述的基于風格遷移的核磁圖像超分辨率方法，其特征在于，所述內容序列和風格序列共同輸入所述Transformer解碼器是以所述內容序列的編碼序列生成查詢，以所述風格序列生成鍵和值，其中Y_c為高清圖像經過所述Transformer編碼器編碼的內容序列，

其中AvgPool_n×n是平均池化函數，是1x1的卷積操作，是可學習的相對位置關系，n是位置編碼圖像塊的長寬，a_kl為插值權重，s為相鄰補丁的數量。

4.根據權利要求1所述的基于風格遷移的核磁圖像超分辨率方法，其特征在于，所述改進的Transformer模型的損失函數為

其中為內容損失函數，為風格損失函數，φ_i(·)代表由預訓練的VGG第i層網絡抽取的特征，μ(·)代表計算均值，σ(·)代表計算方差，I_o代表模型輸出圖像，I_s代表風格輸入圖像，I_c代表內容輸入圖像，為一致性誤差，I_cc和I_ss是模型產生的圖像。

5.根據權利要求1所述的基于風格遷移的核磁圖像超分辨率方法，其特征在于，所述對抗生成網絡中的生成器為ESRGAN模型的生成器并由RRDB模塊代替殘差模塊，所述對抗生成網絡中的判別器為attention?U-net。