[發明專利]一種面向跨模態通信的圖像超分辨率重建方法

在審

• 申請號: 202310011043.9
• 申請日: 2023-01-05
• 公開（公告）號: CN115936997A
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 周亮;劉恒發;魏昕;高赟
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06V10/774;G06V10/80;G06V10/764;G06F30/27;G06N3/0455;G06N3/0464;G06N3/08
• 代理公司: 南京正聯知識產權代理有限公司 32243
• 代理人: 王素琴

1.一種面向跨模態通信的圖像超分辨率重建方法，其特征在于：所述圖像超分辨率重建方法包括以下步驟：

步驟1、利用完整的高分辨率視覺信號，進行高分辨率視覺信號的編碼和解碼，通過編碼步驟訓練高分辨率視覺信號的編碼網絡，并得到高分辨率視覺信號的編碼特征，通過解碼步驟訓練高分辨率視覺信號的解碼網絡，用于為之后的視覺信號超分辨率重建模型提供支撐；

步驟2、設計一個觸覺輔助的視覺信號超分辨率重建HaSR模型；超分辨率重建HaSR模型為：

從終端采集到視覺信號和觸覺信號之后，在邊緣節點對視覺信號進行下采樣從而得到低分辨率視覺信號，利用預訓練的廣泛使用的編碼網絡對低分辨率視覺信號和相應的觸覺信號進行初步的特征提取；

利用模態內的鑒別性和模態間的一致性，通過映射網絡來降低模態間的差異，挖掘不同模態的相關性來彌補模態間的語義鴻溝，從而基于編碼提取的初步特征得到具有語義鑒別和語義關聯的映射特征，而后將得到的映射特征經過歸一化之后通過信道模型，從而用于下一步的特征融合；

根據低分視覺信號的映射特征和觸覺信號的映射特征以及獲得的高分辨率視覺信號的編碼特征，結合生成對抗網絡強大的數據擬合能力，得到融合特征；

最后，將得到的融合特征輸入高分辨率視覺信號的生成網絡，實現高分辨率視覺信號的重建；

步驟3、利用模型優化算法對步驟2設計的HaSR模型進行訓練，最終得到最優的模型參數，用于之后的測試階段；

步驟4、將待測的成對的低分辨率視覺信號和觸覺信號輸入最優的HaSR模型，最優的HaSR模型用于提取低分辨率視覺信號和相應的觸覺信號的特征并進行融合，利用融合后的特征生成所需的高分辨率視覺信號。

2.根據權利要求1所述的一種面向跨模態通信的圖像超分辨率重建方法，其特征在于：步驟1具體包括如下步驟：

步驟1-1：對于訓練數據集其包含配對的觸覺、低分辨視覺信號和高分辨率視覺信號，N為配對的視覺信號和觸覺信號的數量，d_i＝{h_i,l_i,t_i}分別代表高分辨率視覺信號、低分辨率視覺信號和對應的觸覺信號，將第i個高分辨率視覺信號h_i輸入高分辨率視覺信號的編碼網絡，提取視覺信號的編碼特征z_h；

步驟1-2：把得到的高分辨率視覺信號的編碼特征z_h輸入到由生成對抗網絡構成的高分辨率視覺信號的解碼器中，而后把解碼器重建的高分辨率視覺信號輸入高分辨率視覺信號的鑒別器中，通過聯合訓練編碼器和解碼器，并用重構損失和鑒別損失來優化，最終學習到高分辨率視覺信號的編碼特征，以及對應的解碼網絡，定義的損失函數為：

L_pre＝L_rec+αL_pre-adv,

其中α是一個系數，用來調整不同損失的比例，第一項損失是重構損失：

其中(C,H,W)是高分辨率視覺信號的尺寸，G_h代表相應的高分辨率視覺信號的解碼網絡，代表相應的編碼網絡得到的高分辨率視覺信號的編碼特征，||·||₁代表相應的L₁范數，第二項是生成對抗網絡的損失，具體的損失函數為：

其中E(*)表示分布函數的期望值,p(z_h)表示高分圖像編碼特征的分布，p(h)代表真實高分辨率圖像的分布,D_h代表相應的高分辨率視覺信號的鑒別網絡，用來完成對重建的高分辨率視覺信號的判斷，θ_gh和θ_dh分別代表相應的高分辨率視覺信號的生成器和鑒別器的參數，通過最小化L_pre得到最優的高分辨率視覺信號的編碼網絡以及對應的高分辨率視覺信號的編碼特征，對應的解碼網絡和相應的高分辨視覺信號的鑒別網絡。