[發明專利]一種面向跨模態通信系統的圖像重建方法及裝置

有效

• 申請號: 202110776726.4
• 申請日: 2021-07-09
• 公開（公告）號: CN113628294B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 魏昕;章萌;高子涵;周亮
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06V10/774;G06V10/764;G06V10/80;G06V10/82;G06N3/0464;G06N3/045;G06N3/0475;G06N3/094;G06F30/27
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 朱楨榮

1.一種面向跨模態通信系統的圖像重建方法，其特征在于，包括以下步驟：

步驟1、選取跨模態通信系統接收端所接收到的觸覺信號和圖像數據對，將觸覺信號和圖像數據對作為訓練集；訓練集中的每一個觸覺信號、圖像數據對中的圖像數據都帶有所屬類別的標簽信息；

步驟2、建立基于觸覺信號的跨模態圖像生成模型，該模型包括圖像特征提取模塊、基于注意力機制的跨模態語義學習模塊和對抗式圖像生成模塊；其中，

圖像特征提取模塊包括卷積神經網絡CNN和第一類別對抗網絡，用于對訓練集中圖像數據進行特征提取，得到圖像特征；

跨模態語義學習模塊包括一個編碼器、基于注意力機制的語義融合網絡和第二類別對抗網絡，編碼器對訓練集中的觸覺信號進行特征提取，得到觸覺特征；而后，觸覺特征與圖像特征一起輸入基于注意力機制的語義融合網絡，該網絡在與該圖像特征具有同標簽的觸覺特征之間進行相似度計算并經過sigmoid函數的操作，獲得與當前圖像特征所對應的各觸覺特征的權重向量，再基于權重向量對各觸覺特征進行加權求和，得到與當前圖像特征最為相似的合成觸覺特征；接著，第二類別對抗網絡在對抗學習的作用下對合成觸覺特征進行強化，保持觸覺信號的類別特征和分布特征；

對抗式圖像生成模塊包括一個生成對抗網絡，用于接收到強化后的合成觸覺特征后，輸出與該合成觸覺特征具有同標簽的生成圖像；

步驟3、對基于觸覺信號的跨模態圖像生成模型進行訓練，根據圖像特征提取模塊計算圖像特征的模態內損失，根據基于注意力機制的跨模態語義學習模塊計算合成觸覺特征的模態內損失、合成觸覺特征和圖像特征之間的模間損失，根據對抗式圖像生成模塊并結合均方誤差計算生成圖像的對抗生成損失；將這些計算得到的損失用于更新跨模態圖像生成模型的參數；當模型的參數收斂后，保存此時的最優跨模態圖像生成模型及參數；

步驟4、在訓練完成后，將跨模態通信系統接收端接收到的觸覺信號輸入訓練好的上述跨模態圖像生成模型，輸出為目標圖像。

2.根據權利要求1所述的一種面向跨模態通信系統的圖像重建方法，其特征在于，步驟2中圖像數據進行特征提取包括以下步驟：

(2-1)圖像數據V經過卷積神經網絡CNN獲得圖像特征v′^(f)，CNN包括多個卷積層，每層卷積層后面連接一個池化層；

(2-2)為v′^(f)構建第一類別對抗網絡，該第一類別對抗網絡包括網絡參數為θ_v的類別標簽預測器f_v(·)和網絡參數為α的類別標簽鑒別器D₁，其中f_v(·)由多個全連接層和一個softmax層組成，f_v(·)的輸入為圖像特征v′^(f)，f_v(·)的輸出為所預測的類別標簽v^(c)＝f_v(v′^(f)；θ_v)；類別標簽鑒別器D₁由多個依次連接的全連接層組成，最后一層維度為1，D₁用于判別v^(c)和圖像特征v′^(f)對應的真實標簽y_v；通過f_v(·)與D₁對抗訓練，對v′^(f)不斷進行優化，最終提取具有類別特性的圖像特征其中，為第i個圖像數據的圖像特征，N為圖像數據總量。

3.根據權利要求2所述的一種面向跨模態通信系統的圖像重建方法，其特征在于，第一類別對抗網絡的對抗損失如下：

其中，為類別標簽鑒別器D₁的對抗損失函數，和指對*求期望，D₁(y_v；α)指類別標簽鑒別器對真實標簽y_v的判別結果，D₁(v^(c)；α)指類別標簽鑒別器對類別標簽預測器輸出的v^(c)的判別結果，為類別標簽預測器f_v(·)的對抗損失函數。