[發明專利]一種基于雙目攝像頭的實時深度及置信度的預測方法

有效

• 申請號: 202011101670.4
• 申請日: 2020-10-15
• 公開（公告）號: CN112233160B
• 公開（公告）日: 2022-04-19
• 發明（設計）人: 李科敏;金華興
• 申請（專利權）人: 杭州知路科技有限公司
• 主分類號: G06T7/50
• 分類號: G06T7/50;G06T1/20;G06N3/08;G06N3/04
• 代理公司: 北京沁優知識產權代理有限公司 11684
• 代理人: 張亞娟

1.一種基于雙目攝像頭的實時深度及置信度的預測方法，其特征在于：包括以下步驟：

第一步，構建特定架構的神經網絡模型，神經網絡模型基于2D卷積處理得到，神經網絡模型采用編碼加解碼的神經網絡架構，并準備三個數據集，分別為分類數據集、人工合成的數據集和真實場景的數據集；

第二步，在分類數據集上訓練神經網絡的編碼部分，或選用預訓練的分類神經網絡，編碼部分為特征提取過程，共分五層，每層由若干個卷積層單元構成，每一層提取都會進行下采樣，解碼部分即視差和置信度的逐級調整，采用模塊化、輕量級的子網絡來完成；

第三步，凍結神經網絡編碼部分的參數，在人工合成的數據集上對神經網絡解碼部分的參數進行訓練；

第四步，待損失收斂后，解凍神經網絡的所有參數，在人工合成的數據集上繼續訓練；

第五步，在真實場景的數據集上對神經網絡的參數進行微調，并在測試集上對神經網絡進行測試；

其中，在人工合成的數據集和在真實場景的數據集上進行參數訓練所用的視差損失函數為：

y表示訓練時神經網絡模型的視差輸出值，表示訓練時神經網絡模型的視差真實值，i表示視差圖中像素點的坐標；

其中，在人工合成的數據集和在真實場景的數據集上進行參數訓練所用的置信度信息的損失函數為：

t_i表示訓練時神經網絡模型的置信度的輸出值，表示置信度的真實值，y_i表示神經網絡模型預測的視差，表示視差的真實值。

2.根據權利要求1所述的一種基于雙目攝像頭的實時深度及置信度的預測方法，其特征在于：所述的第二步中子網絡包括串聯模塊，串聯模塊的輸入端連接有采樣模塊、相似性計算模塊和上一級的子網絡的卷積模塊，串聯模塊將輸入信息進行串聯并輸送至卷積模塊中進行處理。

3.根據權利要求2所述的一種基于雙目攝像頭的實時深度及置信度的預測方法，其特征在于：所述的串聯模塊中輸入的信息包括上級子網絡輸出的解碼信息、置信度信息、相似性計算模塊輸出的對應層級的左圖特征和采樣模塊的視差信息。

4.根據權利要求3所述的一種基于雙目攝像頭的實時深度及置信度的預測方法，其特征在于：所述的相似性計算模塊沿著channel維度使用余弦距離來評估左圖特征和采樣后的右圖特征的相似性。

5.根據權利要求2所述的一種基于雙目攝像頭的實時深度及置信度的預測方法，其特征在于：所述的子網絡中串聯模塊的信息傳輸采用高速通道進行連接，使子網絡中內部卷積層的學習目標變為視差和置信度的微調量。

6.根據權利要求2所述的一種基于雙目攝像頭的實時深度及置信度的預測方法，其特征在于：所述的卷積模塊連接有視差加權計算模塊，視差加權計算模塊將其輸入數據沿著第二個維度做softmax操作，并沿著第二個維度做加權相加，其權值由-d到d。

7.根據權利要求2所述的一種基于雙目攝像頭的實時深度及置信度的預測方法，其特征在于：所述的子網絡的損失為損失加權相加之和，其權重的選取從第一層子網絡到第五層子網絡依次遞增。