[發(fā)明專利]一種基于卷積神經(jīng)網(wǎng)絡(luò)的深度圖置信度估計方法

有效

• 申請?zhí)枺?/td>: 202110313028.0
• 申請日: 2021-03-24
• 公開（公告）號: CN113096175B
• 公開（公告）日: 2023-10-24
• 發(fā)明（設(shè)計）人: 李兆歆;王兆其;張小格;朱登明;朱正剛
• 申請（專利權(quán)）人: 蘇州中科廣視文化科技有限公司
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06V10/82;G06V10/75;G06V10/52;G06V10/80;G06N3/0442;G06N3/0464;G06N3/048;G06N3/0455;G06N3/09
• 代理公司: 蘇州見山知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 32421
• 代理人: 胡益萍

1.一種基于卷積神經(jīng)網(wǎng)絡(luò)的深度圖置信度估計方法，其特征在于：該方法的具體步驟如下：

由多目立體匹配算法生成的深度圖計算截斷符號距離函數(shù)圖和法線圖；

利用U型網(wǎng)絡(luò)結(jié)構(gòu)對所述截斷符號距離函數(shù)圖、法線圖和彩色圖進(jìn)行特征提取，得到特征圖；

使用卷積長短時記憶結(jié)構(gòu)、預(yù)測模塊、和細(xì)化模塊由所述特征圖預(yù)測深度圖的置信度并通過多監(jiān)督方法細(xì)化估計結(jié)果。

2.根據(jù)權(quán)利要求1所述的一種基于卷積神經(jīng)網(wǎng)絡(luò)的深度圖置信度估計方法，其特征在于：

所述由多目立體匹配算法生成的深度圖計算截斷符號距離函數(shù)圖和法線圖，包括：

像素和其4-鄰域構(gòu)成局部窗口，假設(shè)窗口內(nèi)的點(diǎn)所對應(yīng)的三維點(diǎn)在同一個平面上，則從所述三維點(diǎn)構(gòu)成的向量中，任選兩個不在同一平面的向量進(jìn)行叉乘，即得到所述像素對應(yīng)的法線；

多目立體匹配的幾何誤差用三維點(diǎn)的Z坐標(biāo)與平面深度之差來表示，所述幾何誤差是三維點(diǎn)到平面的距離的近似，將幾何誤差映射到預(yù)設(shè)范圍內(nèi)，并加權(quán)處理，使用逆深度來計算截斷符號距離函數(shù)圖。

3.根據(jù)權(quán)利要求1所述的一種基于卷積神經(jīng)網(wǎng)絡(luò)的深度圖置信度估計方法，其特征在于：

所述U型網(wǎng)絡(luò)結(jié)構(gòu)提取圖像的高層次語義信息，包括編碼和解碼兩個部分，每個編碼子模塊包括卷積、批歸一化、非線性激活和最大池化四個操作，每個解碼子模塊包括轉(zhuǎn)置卷積、卷積、批歸一化和非線性激活四個操作。

4.根據(jù)權(quán)利要求3所述的一種基于卷積神經(jīng)網(wǎng)絡(luò)的深度圖置信度估計方法，其特征在于：

所述利用U型網(wǎng)絡(luò)結(jié)構(gòu)對所述截斷符號距離函數(shù)圖、法線圖和彩色圖進(jìn)行特征提取，得到特征圖，包括：

(a)對輸入圖像進(jìn)行編碼：每個編碼子模塊的輸入為前一個子模塊的輸出，經(jīng)過每個子模塊后輸出特征圖的高和寬各縮小到輸入的1/2，通道數(shù)增加到輸入的2倍，保留每個子模塊的卷積結(jié)果用于解碼；

(b)對編碼模塊的輸出進(jìn)行解碼：每個解碼子模塊的輸入為前一個子模塊的輸出，經(jīng)過每個子模塊后輸入特征圖的高和寬各增加到輸入的2倍，通道數(shù)減小到輸入的1/2。

5.根據(jù)權(quán)利要求1所述的一種基于卷積神經(jīng)網(wǎng)絡(luò)的深度圖置信度估計方法，其特征在于：

所述使用卷積長短時記憶結(jié)構(gòu)、預(yù)測模塊、和細(xì)化模塊由所述特征圖預(yù)測深度圖的置信度，包括：多次迭代，在每次迭代中，使用卷積長短時記憶結(jié)構(gòu)保留特征圖在多次迭代時的長時和短時記憶，之后使用卷積層構(gòu)成的預(yù)測模塊得到每次迭代的置信度圖，使用由卷積層構(gòu)成的細(xì)化模塊對預(yù)測得到的結(jié)果進(jìn)行細(xì)化。

6.根據(jù)權(quán)利要求5所述的一種基于卷積神經(jīng)網(wǎng)絡(luò)的深度圖置信度估計方法，其特征在于：

迭代地從特征圖中預(yù)測并細(xì)化置信度圖，將U型網(wǎng)絡(luò)結(jié)構(gòu)提取到的U-Net特征作為固定參考信息，每輪迭代中，將U-Net特征和上一輪迭代的預(yù)測輸出串聯(lián)，作為本次迭代的輸入，然后依次經(jīng)過卷積長短時記憶結(jié)構(gòu)、預(yù)測模塊、和細(xì)化模塊；

循環(huán)上述卷積長短時記憶結(jié)構(gòu)、預(yù)測模塊、和細(xì)化模塊多次得到細(xì)化后的置信度圖，在不同次迭代間共享模塊的權(quán)重；

在首輪迭代中將預(yù)測輸出初始化為像素值為0的圖，在最后一輪迭代中只使用卷積長短時記憶結(jié)構(gòu)和預(yù)測模塊來獲取預(yù)測結(jié)果。

7.根據(jù)權(quán)利要求1所述的一種基于卷積神經(jīng)網(wǎng)絡(luò)的深度圖置信度估計方法，其特征在于：

所述卷積長短時記憶結(jié)構(gòu)用于處理序列數(shù)據(jù)，基礎(chǔ)結(jié)構(gòu)是元胞，元胞內(nèi)包括遺忘門、輸入門和輸出門，分別決定該元胞需要遺忘、存儲和輸出的信息。

8.根據(jù)權(quán)利要求1所述的一種基于卷積神經(jīng)網(wǎng)絡(luò)的深度圖置信度估計方法，其特征在于：

所述細(xì)化模塊由多個卷積層構(gòu)成，輸入是每輪迭代的預(yù)測結(jié)果，輸出是由預(yù)測結(jié)果提取到的新特征，將所述新特征和U型網(wǎng)絡(luò)結(jié)構(gòu)提取到的U-Net特征串聯(lián)作為新一輪預(yù)測的輸入。