[發明專利]一種基于自適應候選視差預測網絡的實時雙目立體匹配方法

有效

• 申請號: 202011176728.1
• 申請日: 2020-10-28
• 公開（公告）號: CN112435282B
• 公開（公告）日: 2023-09-12
• 發明（設計）人: 張旭翀;孫宏濱;戴赫;趙永利;鄭南寧
• 申請（專利權）人: 西安交通大學
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06T7/593;G06N3/0464
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 閔岳峰

1.一種基于自適應候選視差預測網絡的實時雙目立體匹配方法，其特征在于，該方法包括：

首先利用二維卷積對校正后的立體圖像對進行多尺度特征提取，得到高、低分辨率的特征圖；然后，在第一階段中，在低分辨率特征圖下進行視差粗估計；隨后利用粗估計視差圖和左圖進行動態偏移量預測，該偏移量與粗估計結果相加生成自適應候選視差；第二階段視差估計利用自適應候選視差和高分辨率特征圖構建緊湊匹配代價量，該代價量通過正則化之后進行視差回歸得到精細估計視差；最后，視差精修模塊對精細視差圖進行層次化上采樣，得到全尺寸視差圖；

特征提取時，首先用一系列二維卷積將輸入原圖逐級下采樣到1/2、1/4、1/8和1/16，然后對1/4和1/16特征進行更深層次的特征提?。?/p>

第一階段視差估計，利用特征提取的1/16特征圖進行錯位拼接，得到完整匹配代價量；通過堆疊的三維卷積對代價量進行正則化處理，得到聚合后的匹配代價量，對該代價量進行回歸得到粗估計視差圖；

動態偏移量預測DOP根據粗估計視差圖和左圖信息預測動態候選視差偏移量，將其與粗估計視差圖相加生成自適應候選視差；

DOP利用視差粗估計結果和左圖信息預測動態偏移量，進而得到自適應候選視差，表示如下：

其中，表示像素點p的第n個視差偏移量I_1p表示左圖像素點p的值，表示像素點p的第一階段視差粗估計結果；使用一系列二維卷積實現DOP，具體過程為：首先將粗估計視差圖和左圖雙線性插值到1/4分辨率，再沿通道方向級聯，接著將該張量通過一個卷積得到C_DOP維表示，然后該張量通過4個步長為1的殘差塊得到尺寸為(N-1)×H/4×W/4的偏移量，其中，N為偏移量總數，H和W為輸入圖像的高和寬；將該偏移量和零張量加到粗估計視差圖上，便可得到自適應的候選視差dc_p：

第二階段視差估計，利用自適應候選視差對1/4右特征圖進行扭曲操作，即根據自適應候選視差對右特征圖的每一像素進行不同程度的位移，然后與左特征圖級聯得到緊湊匹配代價量，對該代價量正則化處理后，進行視差回歸得到1/4分辨率的精細視差估計。

2.根據權利要求1所述的一種基于自適應候選視差預測網絡的實時雙目立體匹配方法，其特征在于，視差精修時，通過級聯殘差塊，利用精細視差估計結果和左圖信息層次化預測視差殘差，將殘差與視差相加得到精修視差圖，并上采樣得到全尺寸視差；

得到視差圖后，采用Adam優化方法優化SmoothL1Loss目標函數，具體公式如下：

其中，為像素點i的視差預測值，d_i為像素點i的視差真值；得到優化模型后，便可進行線上推理。