[發明專利]自動駕駛場景的深度估計網絡訓練方法、裝置和自主車輛

在審

• 申請號: 202010146888.5
• 申請日: 2020-03-05
• 公開（公告）號: CN111428859A
• 公開（公告）日: 2020-07-17
• 發明（設計）人: 周作禹;高紅星;史信楚
• 申請（專利權）人: 北京三快在線科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/00
• 代理公司: 北京市隆安律師事務所 11323
• 代理人: 權鮮枝

1.一種自動駕駛場景的深度估計網絡的訓練方法，包括：

獲取樣本圖像集合，所述樣本圖像的像素點標注有真實深度信息；

根據所述樣本圖像集合對深度估計網絡進行迭代的多輪訓練，每輪訓練包括：從樣本圖像集合中選取樣本圖像輸入深度估計網絡，得到通過所述深度估計網絡預測的所述樣本圖像各像素點的預測深度信息；基于所述樣本圖像各像素點的真實深度信息和預測深度信息，計算第一預測誤差，并基于所述樣本圖像的預定區域內的像素點的真實深度信息和預測深度信息，計算第二預測誤差；基于所述第一預測誤差和所述第二預測誤差，調整所述深度估計網絡的參數。

2.根據權利要求1所述的方法，所述基于所述樣本圖像的預定區域內的像素點的真實深度信息和預測深度信息，計算第二預測誤差，包括：

對于所述樣本圖像的預定區域內的每個像素點，基于各像素點的真實深度信息，計算第一統計分布；以及基于各像素點的預測深度信息，計算第二統計分布；

基于所述第一統計分布和所述第二統計分布之間的距離，計算第二預測誤差。

3.根據權利要求2所述的方法，所述第一統計分布和所述第二統計分布之間的距離包括KL散度距離。

4.如權利要求2所述的方法，其特征在于，所述真實深度信息為真實深度圖，所述計算第一統計分布包括：

計算所述真實深度圖中預定區域內的第一深度均值，并計算所述真實深度圖中預定區域內的深度值相對于所述第一深度均值偏差的統計分布；

所述預測深度信息為預測深度圖，所述計算第二統計分布包括：

計算所述預測深度圖中預定區域內的第二深度均值，并計算所述預測深度圖中預定區域內的深度值相對于所述第二深度均值偏差的統計分布。

5.根據權利要求1所述的方法，所述基于所述第一預測誤差和所述第二預測誤差，調整所述深度估計網絡的參數，包括：

若所述第一預測誤差和所述第二預測誤差中，至少一個預測誤差不收斂，則根據不收斂的預測誤差調整所述深度估計網絡的參數，若所述第一預測誤差和所述第二預測誤差均收斂，則結束訓練；

或者，

基于所述第一預測誤差和所述第二預測誤差的求和結果或者加權求和結果確定綜合誤差，若所述綜合誤差不收斂，則根據所述綜合誤差調整所述深度估計網絡的參數，若所述綜合誤差收斂，則結束訓練。

6.根據權利要求1-5中任一項所述的方法，所述預定區域通過對所述樣本圖像采用目標檢測算法檢測得到。

7.根據權利要求6所述的方法，所述預定區域具體為通過目標檢測算法得到的掩模或包圍框，所述目標檢測算法包括以下任一種：快速的基于區域的卷積神經網絡Faster-RCNN、基于區域的全卷積網絡RFCN,單次多邊界框檢測器SSD以及YOLO。

8.一種自動駕駛場景的深度估計網絡的訓練裝置，包括：

獲取單元，用于獲取樣本圖像集合，所述樣本圖像的像素點標注有真實深度信息；

訓練單元，用于根據所述樣本圖像集合對深度估計網絡進行迭代的多輪訓練，每輪訓練包括：從樣本圖像集合中選取樣本圖像輸入深度估計網絡，得到通過所述深度估計網絡預測的所述樣本圖像各像素點的預測深度信息；基于所述樣本圖像各像素點的真實深度信息和預測深度信息，計算第一預測誤差，并基于所述樣本圖像的預定區域內的像素點的真實深度信息和預測深度信息，計算第二預測誤差；基于所述第一預測誤差和所述第二預測誤差，調整所述深度估計網絡的參數。

9.一種自主車輛，其中，該自主車輛包括：車體，設置在車體內部的處理器；以及被安排成存儲計算機可執行指令的存儲器，所述可執行指令在被執行時使所述處理器執行如權利要求1-7中任一項所述的方法。

10.一種計算機可讀存儲介質，其中，所述計算機可讀存儲介質存儲一個或多個程序，所述一個或多個程序當被處理器執行時，實現如權利要求1-7中任一項所述的方法。