[發明專利]三維目標檢測方法、裝置以及存儲介質

有效

• 申請號: 201911346575.8
• 申請日: 2019-12-24
• 公開（公告）號: CN111126269B
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 毛偉;裴積全;呂軍;張凡
• 申請（專利權）人: 京東科技控股股份有限公司
• 主分類號: G06V20/64
• 分類號: G06V20/64;G06N3/04;G06N3/08
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 方亮

1.一種三維目標檢測方法，包括：

將目標物體在單目圖像中的第一坐標中心，設置為所述目標物體的3D邊界框的第二坐標中心；

獲取采集所述單目圖像的單目相機的外參和內參，根據所述外參和內參設置所述目標物體的3D邊界框的空間坐標約束；

設置與所述目標物體的姿態角相對應的方向損失函數，基于所述目標物體的平均尺寸、與所述平均尺寸相對應的估計殘差，設置所述3D邊界框的尺寸損失函數；

根據所述方向損失函數和所述尺寸損失函數，生成預設的卷積神經網絡模型的模型損失函數；

使用單目圖像訓練樣本并基于所述空間坐標約束和所述模型損失函數，對所述卷積神經網絡模型進行訓練，使用訓練好的所述卷積神經網絡模型對單目圖像進行三維目標檢測處理；

其中，所述姿態角包括：方向角；所述設置與所述目標物體的姿態角相對應的方向損失函數包括：

將所述方向角映射到多個重疊的bin中；其中，所述卷積神經網絡模型估計出所述方向角落在所述bin中的概率，以及所述方向角的Cos和Sin值；確定與所述bin相對應的置信損失和定位誤差；基于所述置信損失和定位誤差獲得所述方向損失函數為：

L_theta＝L_conf+w*L_loc；

其中，L_conf為所述bin的置信損失；L_loc為定位誤差，w為權重系數。

2.如權利要求1所述的方法，所述根據所述外參和內參設置所述目標物體的3D邊界框的空間坐標約束包括：

根據所述外參和內參確定與所述3D邊界框頂點相對應的頂點三維坐標；

確定所述目標物體在所述單目圖像中的2D邊界框，基于所述2D邊界框和所述頂點三維坐標生成所述空間坐標約束，以使每個頂點都能投影在所述2D邊界框的至少一條邊上。

3.如權利要求2所述的方法，還包括：

將與所述3D邊界框相對應的三維坐標系設置為以第二坐標中心為原點的世界坐標系；

確定位于所述3D邊界框上的點在所述三維坐標系中的三維坐標在所述單目圖像中的投影坐標為：

x＝K[R|T]x₀；

其中，所述三維坐標為x₀＝[X,Y,Z,1]^T，所述投影坐標為x＝[x,y,1]^T；R為所述單目相機的旋轉矩陣，T為所述單目相機的平移矩陣，K為所述單目相機的內參矩陣。

4.如權利要求2所述的方法，其中，

所述方向損失函數為：

L_theta＝L_conf+w*L_loc；

所述定位誤差為：

其中，nθ*為和所述方向角有覆蓋的θ*角度的bin的個數，c_i是第i個bin相對于單目相機中心的偏差角度，θ*為bin的中心角度，Δθ_i是第i個bin的中心需要的變化量。

5.如權利要求4所述的方法，所述基于與所述目標物體的平均尺寸、與所述平均尺寸相對應的估計殘差，設置所述3D邊界框的尺寸損失函數包括：

所述尺寸損失函數為：

其中，D*是所述3D邊界框的真實尺寸，是所述目標物體的平均尺寸，δ是所述卷積神經網絡預測相對于所述平均尺寸估計的殘差，n為所述3D邊界框的數量。

6.如權利要求5所述的方法，所述根據所述方向損失函數和所述尺寸損失函數，生成預設的卷積神經網絡模型的模型損失函數包括：

所述模型損失函數為：

L＝α×L_dims+L_theta；

其中，α為權重參數。

7.如權利要求6所述的方法，其中，

所述卷積神經網絡模型包括三個分支，每個分支都包括有多個全連接層；其中，第一分支用于估計所述3D邊界框的尺寸，第二分支用于估計所述bin的中心角度的Sin和Cos值，第三分支用于估計所述bin的置信度。