[發明專利]一種基于雙目攝像頭的實時深度及置信度的預測方法

有效

• 申請號: 202011101670.4
• 申請日: 2020-10-15
• 公開（公告）號: CN112233160B
• 公開（公告）日: 2022-04-19
• 發明（設計）人: 李科敏;金華興
• 申請（專利權）人: 杭州知路科技有限公司
• 主分類號: G06T7/50
• 分類號: G06T7/50;G06T1/20;G06N3/08;G06N3/04
• 代理公司: 北京沁優知識產權代理有限公司 11684
• 代理人: 張亞娟

一種基于雙目攝像頭的實時深度及置信度的預測方法，先構建特定架構的神經網絡模型，神經網絡模型采用編碼加解碼的神經網絡架構，并準備三個數據集，在分類數據集上訓練神經網絡的編碼部分，再凍結神經網絡編碼部分的參數，在人工合成的數據集上對神經網絡解碼部分的參數進行訓練，待損失收斂后，解凍神經網絡的所有參數，在人工合成數據集上繼續訓練，真實場景的數據集上對神經網絡的參數進行微調，并在測試集上對神經網絡進行測試。本發明的神經網絡只采用2D卷積，增加了預測置信度的分支，子網絡中串聯操作聚合多種信息，得到的神經網絡模型在低端GPU以及能耗更低的嵌入式設備中有更快的推理速度，并能給出相應的置信度。

技術領域

本發明涉及計算機視覺技術領域，尤其是一種基于雙目攝像頭的實時深度及置信度的預測方法。

背景技術

視覺深度信息是讓計算機理解我們物理世界的一個重要組成部分，對深度進行準確而快速的預測將對無人駕駛、三維重建、建圖與定位等各個領域產生積極重要的影響。現有的視覺深度預測方法主要集中在單目攝像頭、雙目攝像頭和激光雷達等設備上，單目攝像頭是通過單張圖片來預測物體深度的方法，從原則上來說，它無法判別圖片中尺寸小的物體是距離攝像頭近的小物體還是距離攝像頭遠的大物體，其尺度不確定，而激光雷達的深度預測方案目前價格高昂，并且只能進行稀疏的深度預測。雙目攝像頭仿照人眼觀察世界的方式，通過計算左圖和右圖的視差從而重構出物體距攝像頭的深度，近年來，隨著深度學習方法的改進以及一些優質的基于雙目攝像頭的數據集陸續推出，如真實場景的數據集kitti、drivingStereo等，也有人工合成數據集sceneflow、vkitti2等，使得通過雙目攝像頭預測深度的方法在精度上能夠媲美價格高昂的激光雷達深度預測方案，并且可以得到比激光雷達更加稠密的深度信息。

然而現有的基于雙目攝像頭的方案中仍存在三個主要問題，一是實時效果不佳，實時效果差的原因之一是大量使用3D卷積、3D反卷積，使得神經網絡的計算量過大，無法達到實時的效果，如CSPN、PSMNet在高端GPU上的推理速度分別為1000和410ms/image，HD3模型沒有3D卷積操作，采用的是2D卷積方案，但是其模型冗余不夠精簡，為了適應預測光流和視差兩種任務，一定程度上增加了模型的容量，在高端GPU上的推理速度為140ms/image，第二個現有技術缺陷是在深度預測的同時沒有給出相應的置信度，置信度即深度預測的可靠程度，其在下游任務(如無人駕駛中的決策規劃)中有著不可或缺的作用，第三個現有技術缺陷則是在預測出的深度圖像中，物體的輪廓不夠清晰。

發明內容

本發明的目的在于克服現有技術的不足，提供一種解決現有技術中存在的推理速度慢、缺乏相應置信度、物體輪廓模糊等技術問題的基于雙目攝像頭的實時深度及置信度的預測方法。

本發明解決其技術問題是采取以下技術方案實現的：

一種基于雙目攝像頭的實時深度及置信度的預測方法，包括以下步驟：

第一步，構建特定架構的神經網絡模型，神經網絡模型采用編碼加解碼的神經網絡架構，并準備三個數據集，分別為分類數據集、人工合成的數據集和真實場景的數據集；

第二步，在分類數據集上訓練神經網絡的編碼部分，或選用預訓練的分類神經網絡，編碼部分為特征提取過程，共分五層，每層由若干個卷積層單元構成，每一層提取都會進行下采樣，解碼部分即視差和置信度的逐級調整，采用模塊化、輕量級的子網絡來完成；

第三步，凍結神經網絡編碼部分的參數，在人工合成的數據集上對神經網絡解碼部分的參數進行訓練；

第四步，待損失收斂后，解凍神經網絡的所有參數，在人工合成的數據集上繼續訓練；

第五步，在真實場景的數據集上對神經網絡的參數進行微調，并在測試集上對神經網絡進行測試；

其中，在人工合成的數據集和在真實場景的數據集上進行參數訓練所用的視差損失函數為：