[發明專利]引入注意力圖譜的雙目視差估計方法

有效

• 申請號: 202010028305.9
• 申請日: 2020-01-10
• 公開（公告）號: CN111259945B
• 公開（公告）日: 2022-09-20
• 發明（設計）人: 仲維;張宏;李豪杰;王智慧;劉日升;樊鑫;羅鐘鉉;李勝全
• 申請（專利權）人: 大連理工大學;鵬城實驗室
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 陳玲玉

1.引入注意力圖譜的雙目視差估計方法，其特征在于，包括步驟如下：

第一步，利用網絡對左、右目圖像提取特征；

獲取雙目相機的雙目圖像并通過左右視圖值獲取可見光圖像對，進行標準化處理；為可見光圖像對進行特征提取，得到基于兩幅圖像的特征圖；將經過歸一化處理的左右視圖分別進行多層卷積操作，其輸出為映射到高維空間的多個通道特征表示；在所述卷積過程中左右視圖共享權重；

第二步，利用雙目匹配方法獲得代價圖；

第三步，利用分類原則，進行單目視差估計，獲取具有全局信息的視差分割注意力圖譜；

3.1使用卷積神經網絡提取初始特征圖；

將第一步經過歸一化處理的左視圖進行一次卷積操作，其輸出為多個通道的特征圖；

3.2對該特征圖連續進行不同程度的特征提取階段，不同程度包括不同的殘差塊個數設置和不同空洞大小卷積，所以提取的特征所囊括的視野大小和特征抽象程度均不同，輸出每個階段得到的不同視野的特征圖；

3.3將不同視野的特征圖進行融合，并使用分類損失函數得到連續離散深度值的分類；

3.3.1將不同階段的輸出特征圖分別經過不同大小空洞卷積的通道壓縮，每個特征圖輸出D+1維度的特征；

3.3.2將四張D+1維的特征圖對應位置直接相加得到融合后的視差分割注意力圖譜，在該圖中每個維度的對應像素位置的值所指示的是該位置視差取整后屬于該離散視差值的可能性；

3.3.3在訓練過程中，使用標簽作為監督，以優化融合后的視差分割注意力圖譜得分圖，用置信標簽與視差標簽的距離對分成該類的概率進行加權；修改了交叉熵損失函數，將原本離散的0和1改為增益矩陣H如下所示，其中α為常數：q為預測出的值，p為當前所屬分類對應的標簽值：H(p，q)＝exp[-α(p-q)²]

運用這個損失函數來使本模塊的效果得到優化，該損失函數如下：

其中N表示像素對個數，B表示視差可能個數，H即上文敘述的增益矩陣H，D_i^*表示對應像素位置對應視察的真實視差標簽，D表示對應位置下當前視差，P(D|z_i)表示對應像素位置z_i在D視差下概率；

3.4將視差分割注意力圖譜得分圖復制一份對稱的合并到原得分圖第一維的地方；將原本的得分圖除了視差為0地方，左右兩個方向對稱地擴張到原本的2倍大；使其和左右雙目代價圖模塊生成的相關性計算層尺度相同；

第四步，利用具有全局信息的分割注意力圖譜對代價圖進行優化，并將處理后的代價圖送入到視差回歸網絡中進行視差估計。

2.根據權利要求1所述的引入注意力圖譜的雙目視差估計方法，其特征在于，第二步，利用雙目匹配方法獲得代價圖，具體步驟為：

2.1處理兩張特征圖，查找范圍D包含2D+1個像素；將兩張特征圖再分別進行一次卷積操作；

2.2獲取相關層；這步分別在兩個2D+1維的特征圖上取兩個圖像塊進行比較， 在第一張圖中，第一個映射的圖像塊的中心x₁，第二個映射中圖像塊的中心x₂，兩個圖像塊的“相關性”被定義為：

c(x₁，x₂)為像素位置x₁與x₂之間的相關性， k為視差范圍。f₁為左圖特征，f₂為右圖特征， o為偏移(即可能視差)；

給定一個方向上的查找范圍d，對于每一個位置x₁，只在大小為D＝2d+1的范圍內計算相關性c(x₁，x₂)，通過限制x₂的范圍；使用步長s₁和s₂，在全局上量化x₁，并在圍繞著以x₁為中心量化x₂；

取左特征圖上的某一個圖像塊，在右圖對應位置的鄰域位置上進行卷積。