[發(fā)明專利]基于斜面代價(jià)聚合的立體匹配的方法、裝置和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210338837.1
• 申請(qǐng)日: 2022-04-01
• 公開（公告）號(hào): CN114708219A
• 公開（公告）日: 2022-07-05
• 發(fā)明（設(shè)計(jì)）人: 郭裕蘭;汪赟;王龍光
• 申請(qǐng)（專利權(quán)）人: 中山大學(xué)·深圳;中山大學(xué)
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06N3/04;G06K9/62;G06V10/74
• 代理公司: 廣州嘉權(quán)專利商標(biāo)事務(wù)所有限公司 44205
• 代理人: 梁嘉琦

1.一種基于斜面代價(jià)聚合的立體匹配的方法，其特征在于，所述基于斜面代價(jià)聚合的立體匹配的方法包括以下步驟：

獲取第一圖像和第二圖像；所述第一圖像和所述第二圖像可以組成立體對(duì)圖像；

對(duì)所述第一圖像和所述第二圖像進(jìn)行特征圖矩陣相乘處理，獲得第一代價(jià)體；

對(duì)所述第一代價(jià)體進(jìn)行初始視差估計(jì)，獲得初始視差圖；

執(zhí)行多輪循環(huán)迭代操作；在每一輪所述循環(huán)迭代操作中，根據(jù)目標(biāo)斜面參數(shù)和目標(biāo)視差圖構(gòu)建出本輪的多個(gè)斜面，根據(jù)各所述斜面，對(duì)所述第一代價(jià)體中以像素為中心的鄰域內(nèi)執(zhí)行l(wèi)ookup操作，追溯得到本輪的追溯代價(jià)體，對(duì)所述追溯代價(jià)體執(zhí)行自適應(yīng)聚合，獲得本輪的上下文特征圖，將目標(biāo)視差圖、本輪的所述追溯代價(jià)體以及本輪的所述上下文特征圖輸入至門激活單元，所述門激活單元輸出本輪的視差圖、本輪的斜面參數(shù)以及本輪的upmask圖；

其中，對(duì)于第一輪所述循環(huán)迭代操作，所述目標(biāo)斜面參數(shù)為初始設(shè)定的斜面參數(shù)，所述目標(biāo)視差圖為所述初始視差圖；對(duì)于除第一輪循環(huán)迭代操作之外的其他各輪所述循環(huán)迭代操作，所述目標(biāo)斜面參數(shù)為上一輪循環(huán)迭代操作得到的斜面參數(shù)，所述目標(biāo)視差圖為上一輪循環(huán)迭代操作得到的視差圖；

對(duì)最后一輪循環(huán)迭代操作得到的視差圖和upmask圖進(jìn)行處理，獲得原分辨率視差圖。

2.根據(jù)權(quán)利要求1所述的基于斜面代價(jià)聚合的立體匹配的方法，其特征在于，所述基于斜面代價(jià)聚合的立體匹配的方法，還包括：

在對(duì)所述第一圖像和所述第二圖像進(jìn)行特征圖矩陣相乘處理之前，對(duì)所述第一圖像和所述第二圖像進(jìn)行極線校正處理。

3.根據(jù)權(quán)利要求1或2所述的基于斜面代價(jià)聚合的立體匹配的方法，其特征在于，所述對(duì)所述第一圖像和所述第二圖像進(jìn)行特征圖矩陣相乘處理，獲得第一代價(jià)體，包括：

分別對(duì)所述第一圖像和所述第二圖像依次進(jìn)行多次的特征圖提取操作，獲得所述第一圖像對(duì)應(yīng)的第一特征圖以及所述第二圖像對(duì)應(yīng)的第二特征圖；

將所述第一特征圖與所述第二特征圖進(jìn)行矩陣相乘，獲得所述第一代價(jià)體。

4.根據(jù)權(quán)利要求3所述的基于斜面代價(jià)聚合的立體匹配的方法，其特征在于，所述分別對(duì)所述第一圖像和所述第二圖像依次進(jìn)行多次的特征圖提取操作，獲得所述第一圖像對(duì)應(yīng)的第一特征圖以及所述第二圖像對(duì)應(yīng)的第二特征圖，包括：

對(duì)所述第一圖像進(jìn)行一次kernel＝7，stride＝2的卷積，獲得特征圖feature map101；對(duì)所述第二圖像進(jìn)行一次kernel＝7，stride＝2的卷積，獲得特征圖feature map102；

對(duì)特征圖feature map101進(jìn)行一次stride＝1的卷積后，通過殘差連接操作獲得特征圖feature map201；對(duì)特征圖feature map102進(jìn)行一次stride＝1的卷積后，通過殘差連接操作獲得特征圖feature map202；

對(duì)特征圖feature map101進(jìn)行一次stride＝2的卷積后，通過殘差連接操作獲得特征圖feature map301；對(duì)特征圖feature map202進(jìn)行一次stride＝2的卷積后，通過殘差連接操作獲得特征圖feature map302；

對(duì)特征圖feature map301進(jìn)行一次stride＝2的卷積后，通過殘差連接操作獲得特征圖feature map401；對(duì)特征圖feature map302進(jìn)行一次stride＝2的卷積后，通過殘差連接操作獲得特征圖feature map402；

對(duì)特征圖feature map401進(jìn)行一次stride＝1的卷積，獲得所述第一特征圖featuremap501；對(duì)特征圖feature map402進(jìn)行一次stride＝1的卷積，獲得所述第二特征圖feature map502。