[發(fā)明專利]基于多注意力機制融合的輕量級雙目圖像超分辨率方法

在審

• 申請?zhí)枺?/td>: 202210538803.7
• 申請日: 2022-05-17
• 公開（公告）號: CN114881858A
• 公開（公告）日: 2022-08-09
• 發(fā)明（設計）人: 裴文江;馮程晨;夏亦犁
• 申請（專利權）人: 東南大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04;G06N3/08;G06V10/80;G06V10/82;G06V10/40;G06K9/62
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 沈廉

本發(fā)明公開了一種基于多注意力機制融合的輕量級雙目圖像超分辨率方法，主要解決雙目圖像超分辨率任務中模型性能和計算效率難以達到平衡的問題。首先，引入修正的二值化特征融合框架融合通道注意力和空間注意力機制下提取的多級圖像特征；其次，通過雙通道注意力機制對雙目圖像進行全局視差信息的提取，同時引入金字塔采樣機制減少模塊計算量。經實驗證明，本發(fā)明實現(xiàn)了較少參數(shù)下超分辨率性能的較大提升，證實了輕量級網絡在雙目圖像超分辨率任務中的可移植性。

技術領域

本發(fā)明涉及一種基于多注意力機制融合的輕量級雙目圖像超分辨率方法，屬于圖像處理技術領域。

背景技術

雙目視覺受仿生學的啟發(fā)，人類的左右眼因為位置的不同，所見場景的差異形成關于景象的三維空間感知，雙目視覺就是使用雙目相機來仿生這種視覺感知機制，構造出類似于人眼的通用雙目立體視覺感知系統(tǒng)。

與單幅圖像超分辨率不同，雙目超分本質上是多輸入多輸出的過程，輸入低分辨率的左右視圖，需要重建出相應的高分辨率雙目圖像。如果將雙目圖像看作視頻中的前后幀，該任務即簡化為具有兩幀圖像的視頻超分任務，但雙目圖像的交互關系是通過視差表征的，與視頻幀間的微小運動偏移不同，研究方法有較大的差別。同時，由于第二視角的圖像能夠為單幅圖像提供額外信息，若將其看作為有參考的單圖超分任務，能夠提供的信息僅限于低分辨率場景下的信息，對于高級特征的重建效用極小。所以，雙目圖像超分辨率既要在單圖超分的基礎上利用圖像間的相關信息，也要在傳統(tǒng)多幅圖像超分辨率任務中加入視差補償機制。

大多基于圖形分類、語義表征等計算機視覺任務的輕量化網絡設計在近幾年逐漸提出，其中包括經典的MobileNet、XCeption等結構，且大多也被引入圖像超分領域中，取得了較好的效果。隨著注意力機制的加入，網絡性能進一步提升的同時，如何降低高效注意力機制的參數(shù)量也是該方向在研究的重要課題之一。對于雙目圖像超分辨率任務，模型的輕量化一方面需要考慮到特征提取主干網絡的高效，也要能夠在雙目特征匹配階段盡可能保證性能的同時減少參數(shù)開銷。

發(fā)明內容

技術問題：本發(fā)明的目的是提供一種基于多注意力機制融合的輕量級雙目圖像超分辨率方法，針對雙目超分辨率任務中模型性能和運行效率難以平衡的問題，通過對單幅圖像超分辨率方法中現(xiàn)有的輕量化模型進行探討，尋找符合雙目圖像超分辨率網絡的輕量化設計思路。

技術方案：針對雙目超分辨率任務中模型性能和計算效率難以達到平衡的問題，本發(fā)明在研究單圖超分辨率輕量級網絡的基礎上，提出一個基于多注意力機制融合的輕量級雙目圖像超分辨率方法，具體步驟如下：

步驟1：構建網絡模型

以低分辨率左視圖圖像和右視圖圖像作為網絡輸入，并對左視圖進行超分辨率處理得到高分辨率的左視圖圖像；所述構建網絡模型包括三個子模塊，即特征提取模塊、視差注意力提取模塊及特征重建模塊；

首先，輸入低分辨率雙目圖像對和經過一個3×3卷積層提取左視圖圖像和右視圖圖像的淺層特征：

其中，H_sfe代表共享權重的3×3卷積層，和表示從低分辨率雙目圖形對中分別提取到的左視圖和右視圖的淺層特征；輸入m個共享權值的特征融合組進一步提取較深層次的特征：

上式中，代表第m個特征融合組，同理，和分別代表第m-1和第1個特征融合組，和指淺層特征通過m個特征融合組之后輸出的較深層次的特征張量；

之后，在提取到低分辨率圖像對的獨立特征后，通過基于多尺度金字塔采樣機制的視差注意力模塊進行雙目特征的匹配，輸出左視圖圖像的視差融合特征張量：