[發明專利]具有自我提升能力的金字塔雙目深度估計模型

在審

• 申請號: 201811531857.0
• 申請日: 2018-12-14
• 公開（公告）號: CN109801323A
• 公開（公告）日: 2019-05-24
• 發明（設計）人: 張鍥石;程俊;杜聿博
• 申請（專利權）人: 中國科學院深圳先進技術研究院
• 主分類號: G06T7/55
• 分類號: G06T7/55
• 代理公司: 北京市誠輝律師事務所 11430
• 代理人: 范盈

1.一種具有自我提升能力的金字塔雙目深度估計模型，其特征在于，包括以下步驟：

1)搭建空間金字塔模塊；

2)進行代價整合；

3)多層回歸輸出；

4)計算損失函數。

2.根據權利要求1所述的一種具有自我提升能力的金字塔雙目深度估計模型，其特征在于：步驟1)中搭建空間金字塔模塊，具體為：

空間金字塔模塊采用四種尺寸：8*8、16*16、32*32、64*64池化層，每個池化層后緊隨卷積層和激活層；將所有特征都上采樣為同一尺寸w/4*h/4，并將這些特征在通道的維度上融合在一起，融合后的特征作為下一層的輸入；其中，w為輸入圖像的寬，h為輸入圖像的高。

3.根據權利要求2所述的一種具有自我提升能力的金字塔雙目深度估計模型，其特征在于：步驟2)中進行代價整合，具體為：

將左右圖像各生成的特征在每個視差值上進行滑動融合，得到特征數為w/4*h/4*d/4*的三維特征模塊。

4.根據權利要求3所述的一種具有自我提升能力的金字塔雙目深度估計模型，其特征在于：步驟3)中，

編碼階段進行步長為1、2、1的卷積操作，解碼階段進行2次步長為2的反卷積操作；每組編碼解碼模塊的輸出上采樣為w*h*d，并進行歸一化操作，并利用

將三維層轉化為二維視差圖作為每級輸出D_p為預測的視差圖像P_d為歸一化之后的三維概率。

5.根據權利要求4所述的一種具有自我提升能力的金字塔雙目深度估計模型，其特征在于：步驟4)中，計算損失函數包括兩種情況：

4.1)有監督損失；

4.2)無監督損失。

6.根據權利要求5所述的一種具有自我提升能力的金字塔雙目深度估計模型，其特征在于：步驟4.1)中，

有監督部分損失被定義為預測視差與實際測量視差的光滑絕對誤差，具體如下：

其中：D_g實際測量視差，D_p模型預測視差，

7.根據權利要求6所述的一種具有自我提升能力的金字塔雙目深度估計模型，其特征在于：步驟4.2)中，

無監督部分的損失：

其中和為結構相似損失，和為光滑絕對誤差；

4.2.1)結構相似損失：

其中，

μ_x和μ_y為圖像X和Y的均值，σ_x和σ_y為圖像X和Y的方差，σ_xy表示X和Y的協方差，為輸入左圖像，為合成的右圖像；

4.2.2)光滑絕對誤差：

光滑絕對誤差的計算方式同有監督損失部分。