[發明專利]一種多尺度特征融合的雙目圖像超分辨率重建方法

有效

• 申請號: 202110158551.0
• 申請日: 2021-02-05
• 公開（公告）號: CN112767253B
• 公開（公告）日: 2022-05-24
• 發明（設計）人: 張紅英;李雪
• 申請（專利權）人: 西南科技大學
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明給出一種多尺度特征融合的雙目圖像超分辨率方法。首先，在特征提取模塊采用混合跳躍式殘差連接，將改進的空洞空間金字塔池化塊形成回環結構，用于提取圖像多尺度特征，再用擴張殘差與回環結構交替級聯，對提取的特征進行融合；然后，引入視差注意力模塊獲取雙目圖像中的對應關系，集成圖像對的有用信息，其中，使用過渡擴張殘差塊學習立體匹配特征的網絡能力，得到雙目圖像的視差圖；最后，利用四個擴張殘差塊將低維空間映射到高維空間，通過亞像素卷積重建出超分辨率左（右）圖，并將FReLU用于整個網絡中提高捕獲空間相關性效率。本發明利用擴張殘差回環結構提取圖像多尺度特征，實現了優異的超分辨率性能，具有廣泛的適用性。

技術領域

本發明涉及圖像處理技術，具體來講，涉及一種采用擴張殘差回環結構提取與融合多尺度特征的雙目圖像超分辨率重建方法。

背景技術

視覺信息是人類獲取萬物信息的主要來源，通過軟件的方法提高原始圖像分辨率的過程稱為圖像超分辨率（Super Resolution, SR）重建，圖像超分辨率技術滿足了人們觀感所需，在計算機視覺領域蓬勃發展。圖像超分辨率的研究從最開始基于插值的方法到現在基于學習的方法經歷了飛躍性成就，從人工處理到人工智能、從淺層網絡到深層網絡、再從深層網絡到輕量級網絡，圖像超分辨率技術為人類科技發展做出了卓越貢獻。單幅圖像超分辨率在圖像超分辨率領域取得了重要成果，但輸入為單幀圖像也導致重建過程中特征張量缺乏更多的細節信息。為解決單幅圖像超分辨率輸入圖像細節缺乏的問題，雙目圖像超分辨率應運而生，雙目圖像超分辨率在網絡輸入上比單幅圖像超分辨率擁有更多的細節，由于輸入是同一場景左右目的圖像信息，所以相比視頻超分辨率的多輸入也能夠避免運動模糊和壓縮影響等問題。

雙目圖像超分辨率旨在由同一場景下不同視角的兩張低分辨率（LowResolution, LR）圖像重建出高分辨率（High Resolution, LR）圖像，高分辨率意味著圖像中的像素密度高，能夠提供更多的細節，而這些細節在許多實際應用中不可或缺。隨著雙攝系統在大眾生活中的出現，雙目圖像超分辨率在計算機視覺領域日益廣泛應用。雙目圖像可以提供同一場景左右兩個視角的信息，合理利用雙目圖像所包含的互補信息可以進一步提升圖像超分辨的性能，由于輸入為左右視角的兩張LR圖像，使得輸入圖像之間存在視覺、特征、景深和分辨率等差異，解決這些差異性問題，并充分利用雙目圖像間有效細節信息優勢可以提高超分辨率性能，所以豐富的上下文特征提取與表示研究成為了雙目圖像超分辨率重建的研究重點。

發明內容

本發明的目的在于解決圖像超分辨率重建問題，提供同一場景下左右視點的兩幅低分辨率圖像，通過深度學習網絡直接恢復出一幅高分辨率圖像的方法，經所述方法可重建出超分辨率左（右）圖像。

為了實現上述目的，本發明提供一種采用擴張殘差回環結構提取與融合多尺度特征的雙目圖像超分辨率方法，其中主要包括五個部分：第一部分是對數據集進行預處理；第二部分是對左（右）目低分辨率圖像進行特征提取與融合；第三部分是對融合后的特征張量計算視差圖；第四部分是超分辨率重建；第五部分是網絡訓練與測試，重建出最終的超分辨率左（右）圖。

第一部分包括兩個步驟：

步驟1，下載雙目立體公開數據集，選取場景豐富、細節多樣和視差波動范圍合適的雙目圖像對作為訓練集中的高分辨率圖像對，然后對高分辨率圖像經雙三次插值降采樣得到低分辨率圖像作為測試集樣本；

步驟2，將高分辨率與低分辨率圖像裁剪成一一對應大小的圖像塊，對裁剪得到的高低分辨率圖像對經旋轉，平移等基礎操作，增強訓練樣本集，形成最終的訓練集樣本；

第二部分包括兩個步驟：

步驟3，將步驟2中的訓練樣本輸入權值共享的卷積網絡，通過通道數變換從RGB空間初步得到左右圖的特征張量；

步驟4，對步驟3得到的特征張量采用擴張殘差回環結構進行多尺度特征提取與融合，得到融合后的左右特征張量圖；

第三部分包括四個步驟：