[發明專利]一種面向跨模態通信系統的圖像重建方法及裝置

有效

• 申請號: 202110776726.4
• 申請日: 2021-07-09
• 公開（公告）號: CN113628294B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 魏昕;章萌;高子涵;周亮
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06V10/774;G06V10/764;G06V10/80;G06V10/82;G06N3/0464;G06N3/045;G06N3/0475;G06N3/094;G06F30/27
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 朱楨榮

本發明公開了一種面向跨模態通信系統的圖像重建方法，所述方法利用跨模態通信系統中接收端所接收到完整觸覺信號對傳輸過程中所存在的缺失圖像進行重建，同時結合注意力機制構造跨模態交互網絡，解決傳統生成模型只能訓練成對樣本的局限性。本發明還公開了一種面向跨模態通信系統的圖像重建裝置。本發明充分利用不同模態數據間的語義相關性，針對未配對數據實現觸覺信號到圖像的跨模態生成，克服跨模態通信系統中用于實際的訓練觸覺信號—圖像數據難以成對采集的問題，顯著提高了生成圖像的質量和類別精度。

技術領域

本發明涉及跨模態圖像生成領域，特別是一種面向跨模態通信系統的圖像重建方法及裝置。

背景技術

跨模態通信是一種以視覺、音頻、觸覺信號協調傳輸和聯合處理為目標的新型通信技術，支持跨模態多媒體服務，具有多維度融合、沉浸式感官體驗更豐富等特點。然而，在跨模態通信過程中，往往存在傳輸容量有限及傳輸干擾等問題，造成終端接收圖像數據模糊甚至全部丟失。

針對傳輸過程中各種干擾因素，相關學者提出了一系列圖像恢復的方法。比如，為了去除圖像恢復中的脈沖噪聲，提出基于全變分的稀疏優化方法；為了解決傳輸中的丟包現象，利用光流算法的信息與鄰近的可用幀進行恢復。上述圖像恢復方法主要是在視覺模態內借助其他完整的圖像或視頻幀進行恢復。然而，在多模態應用中，多模態流存在共存和競爭現象，可能會導致視頻流在傳輸過程中嚴重受損或丟失。因此，上述方法不適用于跨模態傳輸。

由于在跨模態通信中，視覺信號和觸覺信號并存，傳遞的內容在模態間具有內在的語義一致性。并且與視覺圖像相比，觸覺信號通常具有更高的優先級，接收端接收到的觸覺信號的完整性更好。因此，可以利用觸覺信號和內在語義信息進行缺失或受損的視覺圖像生成，即觸覺到圖像的跨模態生成。

近年來，跨模態信號處理技術也成為一項熱門的研究，其思想是挖掘文本、聲音、視頻等形式之間的語義，以執行檢索和重構等任務。但這些方法要求成對數據作為訓練集，不適用于難以采集成對數據的實際應用場景，因此設計更好的方法是相關工作者亟需解決的難題。

發明內容

本發明所要解決的技術問題是克服現有技術的不足而提供一種面向跨模態通信系統的圖像重建方法及裝置，該技術能夠實現針對未配對數據的觸覺到圖像的跨模態生成任務。

本發明為解決上述技術問題采用以下技術方案：

根據本發明提出的一種面向跨模態通信系統的圖像重建方法，包括以下步驟：

步驟1、選取跨模態通信系統接收端所接收到的觸覺信號和圖像數據對，將觸覺信號和圖像數據對作為訓練集；訓練集中的每一個觸覺信號、圖像數據對中的圖像數據都帶有所屬類別的標簽信息；

步驟2、建立基于觸覺信號的跨模態圖像生成模型，該模型包括圖像特征提取模塊、基于注意力機制的跨模態語義學習模塊和對抗式圖像生成模塊；其中，

圖像特征提取模塊包括卷積神經網絡CNN和第一類別對抗網絡，用于對訓練集中圖像數據進行特征提取，得到圖像特征；

跨模態語義學習模塊包括一個編碼器、基于注意力機制的語義融合網絡和第二類別對抗網絡，編碼器對訓練集中的觸覺信號進行特征提取，得到觸覺特征；而后，觸覺特征與圖像特征一起輸入基于注意力機制的語義融合網絡，該網絡在與該圖像特征具有同標簽的觸覺特征之間進行相似度計算并經過sigmoid函數的操作，獲得與當前圖像特征所對應的各觸覺特征的權重向量，再基于權重向量對各觸覺特征進行加權求和，得到與當前圖像特征最為相似的合成觸覺特征；接著，第二類別對抗網絡在對抗學習的作用下對合成觸覺特征進行強化，保持觸覺信號的類別特征和分布特征；

對抗式圖像生成模塊包括一個生成對抗網絡，用于接收到強化后的合成觸覺特征后，輸出與該合成觸覺特征具有同標簽的生成圖像；