[發明專利]一種面向跨模態通信的圖像超分辨率重建方法

在審

• 申請號: 202310011043.9
• 申請日: 2023-01-05
• 公開（公告）號: CN115936997A
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 周亮;劉恒發;魏昕;高赟
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06V10/774;G06V10/80;G06V10/764;G06F30/27;G06N3/0455;G06N3/0464;G06N3/08
• 代理公司: 南京正聯知識產權代理有限公司 32243
• 代理人: 王素琴

本發明屬于視覺信號的超分辨率重建技術領域，公開了一種面向跨模態通信的圖像超分辨率重建方法，首先在發送端僅傳輸低分辨率視覺信號和相應的觸覺信號，而后通過模態內鑒別性和模態間相關性的學習彌補不同模態間存在的語義鴻溝，通過信道傳輸后，在接收端通過有效的特征融合方式實現互補性的學習，最后利用得到的融合特征去生成所需的高分辨率視覺信號。本發明很好地解決了在多模態服務中存在的因帶寬受限和多模態信號間的競爭導致的視覺質量下降，最終影響用戶體驗的問題，實現了跨模態信號一致性、互補性的學習，保證了在有限帶寬下，接收端高分辨率視覺信號的獲取，提升用戶的沉浸式體驗。

技術領域

本發明屬于視覺信號的超分辨率重建技術領域，具體的說是涉及一種面向跨模態通信的圖像超分辨率重建方法。

背景技術

隨著無線通信和多媒體通信技術的快速發展，人類的視聽需求得到極大滿足，開始追求更多元化、更豐富的體驗。當觸覺信號與傳統的視聽信號相結合時，多模態服務出現，它可以提供更細粒度的交互和沉浸式體驗。多項研究發現在線上多模態服務場景中，人們能夠通過高分辨率的視覺信號和高保真的觸覺信號提高對產品的感知和交互體驗。例如，在網絡購物中，消費者可以通過觸摸和觀察獲得產品細節、內在感知質地、硬度等特性的詳細信息。為了支持多模態服務，跨模態通信應運而生，其通過利用不同模態間的相關性確保多個模態之間的協同傳輸和處理。然而，受限的帶寬和模態間競爭的存在使現有的跨模態通信方案很難實施，這將導致用戶的沉浸式體驗下降，特別是不滿意的視覺體驗。

具體來說，一方面，高保真的視覺信號是用戶沉浸式體驗的重要保障，然而由于受限的帶寬，在線多媒體通信服務中難以傳輸如此高分辨率的圖片/視頻；另一方面，視覺和觸覺模態在傳輸過程中存在競爭，為了滿足觸覺信號低時延、高可靠的需求，現有方案通常給觸覺信號一個更高的優先級，但觸覺信號頻繁、無規律地出現會嚴重影響視覺信號的傳輸質量，尤其當用戶具有頻繁觸摸的需求時，如線上購物。

目前，針對因為帶寬不足以及模態間的競爭導致的視覺信號的質量下降問題，可從多模態通信和超分辨率重建兩個思路解決。多模態通信方案主要包括傳統的音視頻通信方案、觸覺通信方案，這些方案能單獨實現音視頻或者觸覺信號的高保真傳輸，但當涉及到同時傳輸音視頻和觸覺信號的場景時，無法保證接收端的質量；超分辨率重建方案主要利用低分辨率視覺通過基于單個視覺信號或基于參考信息(如不同角度的視覺信號、相鄰幀、邊界圖等)來完成高分辨率視覺信號的重建，但他們大都是在本地終端完成重建任務，沒有涉及通信任務。

上述現有的面對有限帶寬下的多模態傳輸方案主要存在以下缺陷：把各個模態單獨考慮，沒有合理利用多模態數據間的一致性和互補性；沒有考慮通信過程，僅在終端處理數據，沒有考慮多模態數據傳輸過程中存在的模態間的競爭。

發明內容

為了克服現有技術的不足，本發明提供一種面向跨模態通信的圖像超分辨率重建方法，依賴觸覺信號和視覺信號之間語義的一致性，通過充分考慮模態內和模態間的關系實現各模態特征的提取、映射，之后借助強有力的特征融合網絡，有效地實現利用低分辨率視覺信號和觸覺信號去生成與高分辨率視覺信號特征盡可能相似的融合特征，并最終獲得高分辨率視覺信號，實現在帶寬受限的多模態應用場景中，用戶沉浸式體驗的保障。

為了達到上述目的，本發明是通過以下技術方案實現的：

本發明是一種面向跨模態通信的圖像超分辨率重建方法，包括以下步驟：

步驟(1)、利用完整的高分辨率視覺信號，進行高分辨率視覺信號的編碼和解碼，通過編碼步驟訓練高分辨率視覺信號的編碼網絡，并得到高分辨率視覺信號的編碼特征，通過解碼步驟訓練高分辨率視覺信號的解碼(生成)網絡，用于為之后的視覺信號超分辨率重建模型提供支撐；

步驟(2)、設計一個觸覺輔助的視覺信號超分辨率重建HaSR(Haptic-acid?Super-resolution?Reconstruction)模型；超分辨率重建HaSR模型具體如下：