[發明專利]一種基于深度交互學習的立體圖像超分辨率重建方法

有效

• 申請號: 202011132474.3
• 申請日: 2020-10-21
• 公開（公告）號: CN112184555B
• 公開（公告）日: 2022-07-19
• 發明（設計）人: 雷建軍;張哲;范曉婷;劉娟;桑新柱;彭勃
• 申請（專利權）人: 天津大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

本發明公開了一種基于深度交互學習的立體圖像超分辨率重建方法，所述方法包括：將輸入的左右視圖，分為左右兩支路通過空間特征提取到相應的空間特征表達；通過交互部分提取另一視點中的互補信息用于增強左右視圖的空間特征表達；使用均方誤差損失函數、梯度損失函數和視差損失函數共同構建多損失函數機制，用于提升立體圖像的超分辨率重建質量；訓練基于深度交互學習的立體圖像超分辨率重建網絡。本發明利用深度學習的特征表達能力，通過挖掘立體圖像中的互補信息來獲取左右視圖的空間相關性和視點間相關性。

技術領域

本發明涉及深度學習、圖像超分辨率重建領域，尤其涉及一種基于深度交互學習的立體圖像超分辨率重建方法。

背景技術

超分辨率重建作為一個基本的圖像處理技術，已經吸引了越來越多的學者進行廣泛地研究。超分辨率重建的目的是預測低分辨率圖像中缺失的高頻信息，以此來提高低分辨率圖像的分辨率。由于超分辨率重建可以恢復圖像中的紋理細節，它可以被運用到很多圖像處理任務中，比如圖像恢復、圖像增強和圖像壓縮等。此外，超分辨率重建也促進了多種計算機視覺任務的發展，比如視頻監控、行人檢測和遙感圖像處理等。根據所處理數據的不同，超分辨率重建任務可以分類為單圖超分辨率重建、立體圖像超分辨率重建和視頻超分辨率重建。

立體圖像可以提供場景的深度信息，因此人類視覺系統在觀看一對立體圖像時，可以獲得生動的3D感知。為了重建高分辨率的立體圖像，簡單的解決方案是使用單圖超分辨率重建算法分別處理左右視圖，但這樣做會破壞左右視圖間的立體關系。因此，如何有效探索視點間的互補信息以提高立體圖像超分辨率重建的性能具有重要的研究意義。

得益于深度學習在監督學習任務中的成功，近年來基于深度學習的立體圖像超分辨率重建方法開始受到關注。Jeon等人提出了StereoSR(立體超分)方法，通過學習視差先驗來獲得低分辨率圖像到高分辨率圖像的端到端映射。Wang等人提出PASSRnet(視差注意力立體超分網絡)方法，通過使用視差注意力機制獲取全局一致性。Song等人提出了SPAM(自視差注意力機制)方法，同時獲取自注意力圖和視差注意力圖。

然而，對于場景中的某一具體位置，低分辨率的左右視圖缺失的細節信息可能是不同的。這種差異使得立體圖像可以提供更多的互補信息來幫助重建高分辨率圖像。現有的方法大多基于視差學習全局一致性關系，忽略了互補信息中包含的空間相關性和視點間相關性。

發明內容

本發明主要研究立體圖像超分辨率重建，本發明利用深度學習的特征表達能力，通過挖掘立體圖像中的互補信息來獲取左右視圖的空間相關性和視點間相關性，提出基于深度交互學習的立體圖像超分辨率重建方法，詳見下文描述：

一種基于深度交互學習的立體圖像超分辨率重建方法，所述方法包括：

將輸入的左右視圖，分為左右兩支路通過空間特征提取到相應的空間特征表達；

通過交互部分提取另一視點中的互補信息用于增強左右視圖的空間特征表達；

使用均方誤差損失函數、梯度損失函數和視差損失函數共同構建多損失函數機制，用于提升立體圖像的超分辨率重建質量；

訓練基于深度交互學習的立體圖像超分辨率重建網絡。

優選地，左右兩支路的空間特征提取中的卷積層共享參數。

其中，所述交互部分由串聯的一系列交互單元組成，每一個交互單元由四個門控組成，分別為濾波門、重置門、篩選門和更新門。

進一步地，所述濾波門用于減弱視點的空間不對齊，即濾波后的視點特征等于視點特征與卷積層的卷積。

其中，所述重置門用于控制當前視點對另一視點產生的影響，由一層卷積層和一層激活層組成；

左視點特征和右視點濾波后的特征級聯，通過重置門得到特征r，特征r和右視點濾波后的特征f_r'做點積計算得到候選集c。