[發(fā)明專利]一種基于自監(jiān)督學(xué)習(xí)的雙目立體視覺視差濾波方法和裝置

在審

• 申請?zhí)枺?/td>: 202110137271.1
• 申請日: 2021-02-01
• 公開（公告）號: CN113362462A
• 公開（公告）日: 2021-09-07
• 發(fā)明（設(shè)計(jì)）人: 楊力;張?jiān)聰?/a>;羅哉
• 申請（專利權(quán)）人: 中國計(jì)量大學(xué)
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州賽科專利代理事務(wù)所(普通合伙) 33230
• 代理人: 陳俊波

1.一種基于自監(jiān)督學(xué)習(xí)的雙目立體視覺視差濾波方法，其特征在于，包括：

步驟1：在待處理圖像上取一個(gè)像素點(diǎn)P，以所述像素點(diǎn)P為中心取一塊矩形區(qū)域，將所述像素點(diǎn)P的坐標(biāo)加上偏移量d，得到像素點(diǎn)M，以所述像素點(diǎn)M為中心在同一幅圖像上取同樣大小的一塊矩形區(qū)域，其中，所述待處理圖像為通過雙目相機(jī)采集到的左圖和右圖，所述坐標(biāo)偏移差值d為二維向量，包含水平偏移量d₁和垂直偏移量d₂；

步驟2：重復(fù)步驟1，得到兩個(gè)矩形區(qū)域作為訓(xùn)練樣本對，取步驟1所述的水平偏移量d₁作為該樣本對的標(biāo)簽；

步驟3：將步驟1和步驟2重復(fù)多次，得到一定數(shù)量的訓(xùn)練樣本對和對應(yīng)的標(biāo)簽；

步驟4：利用步驟3所述訓(xùn)練樣本對和對應(yīng)的標(biāo)簽訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型，計(jì)算損失函數(shù)，得到所述卷積神經(jīng)網(wǎng)絡(luò)模型，所述損失函數(shù)為

其中，d₀為水平偏移量閾值，λ為權(quán)重，L_match為交叉熵?fù)p失函數(shù)，L_d為歐幾里得損失函數(shù)；

步驟5：通過立體匹配算法得到所述待處理圖像左圖每個(gè)像素點(diǎn)在右圖中的匹配點(diǎn)，以兩個(gè)所述匹配點(diǎn)為中心，分別在左圖和右圖各取一矩形區(qū)域形成樣本對，將所述樣本對輸入卷積神經(jīng)網(wǎng)絡(luò)模型，得到該樣本對是否匹配，如果不匹配，將所述像素認(rèn)定為噪點(diǎn)進(jìn)行濾除。

2.根據(jù)權(quán)利要求1所述的一種基于自監(jiān)督學(xué)習(xí)的雙目立體視覺視差濾波方法，其特征在于，所述交叉熵?fù)p失函數(shù)的計(jì)算方法為：

L_matc=-(y_dlog(p)+(1-y_d)(1-log(p)))，

其中，p為所述卷積神經(jīng)網(wǎng)絡(luò)模型計(jì)算出的匹配概率，0p1，y_d為匹配標(biāo)志：

3.根據(jù)權(quán)利要求1所述的一種基于自監(jiān)督學(xué)習(xí)的雙目立體視覺視差濾波方法，其特征在于，所述歐幾里得損失函數(shù)的計(jì)算方法為：

其中，為所述卷積神經(jīng)網(wǎng)絡(luò)模型輸出的水平方向偏移量。

4.根據(jù)權(quán)利要求1所述的一種基于自監(jiān)督學(xué)習(xí)的雙目立體視覺視差濾波方法，其特征在于，所述步驟4～5分為兩個(gè)階段，第一階段為卷積神經(jīng)網(wǎng)絡(luò)修正階段，通過所述步驟4～5的操作優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)模型，第二階段為待處理圖像處理階段，對所述待處理圖像所有像素點(diǎn)通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行處理。

5.根據(jù)權(quán)利要求1所述的一種基于自監(jiān)督學(xué)習(xí)的雙目立體視覺視差濾波方法，其特征在于，所述步驟5中立體匹配算法包括代價(jià)計(jì)算、代價(jià)聚合、視差計(jì)算、視差優(yōu)化。

6.一種采用權(quán)利要求17之一的基于自監(jiān)督學(xué)習(xí)的雙目立體視覺視差濾波方法的雙目立體視覺視差濾波裝置，其特征在于，包括：

采樣模塊，用于在待處理圖像上取一個(gè)像素點(diǎn)P，以所述像素點(diǎn)P為中心取一塊矩形區(qū)域，將所述像素點(diǎn)P的坐標(biāo)加上偏移量d，得到像素點(diǎn)M，以所述像素點(diǎn)M為中心在同一幅圖像上取同樣大小的一塊矩形區(qū)域；；

訓(xùn)練模塊，用于將訓(xùn)練樣本對和對應(yīng)標(biāo)簽輸入卷積神經(jīng)網(wǎng)絡(luò)模型，計(jì)算損失函數(shù)，得到卷積神經(jīng)網(wǎng)絡(luò)模型；

匹配模塊，用于通過立體匹配算法得到待處理圖像左圖每個(gè)像素在右圖中的匹配點(diǎn)，以兩個(gè)匹配點(diǎn)為中心，分別在左圖和右圖各取一矩形區(qū)域形成樣本對，將樣本對輸入卷積神經(jīng)網(wǎng)絡(luò)模型，得到樣本對是否為匹配；

判斷模塊，用于判斷立體匹配算法獲得的樣本對與卷積神經(jīng)網(wǎng)絡(luò)模型得到樣本對是否為匹配，如果不匹配，將像素認(rèn)定為噪點(diǎn)進(jìn)行濾除。