[發明專利]三維目標檢測方法、裝置以及存儲介質

有效

• 申請號: 201911346575.8
• 申請日: 2019-12-24
• 公開（公告）號: CN111126269B
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 毛偉;裴積全;呂軍;張凡
• 申請（專利權）人: 京東科技控股股份有限公司
• 主分類號: G06V20/64
• 分類號: G06V20/64;G06N3/04;G06N3/08
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 方亮

本公開提供了一種三維目標檢測方法、裝置以及存儲介質，其中的方法包括：將目標物體在單目圖像中的第一坐標中心，設置為3D邊界框的第二坐標中心；根據外參和內參設置3D邊界框的空間坐標約束，設置方向損失函數以及3D邊界框的尺寸損失函數，并生成模型損失函數；使用單目圖像訓練樣本并基于空間坐標約束和模型損失函數，對卷積神經網絡模型進行訓練，用以對單目圖像進行三維目標檢測處理。本公開的方法、裝置、終端以及存儲介質，通過設置空間坐標約束、方向損失函數以及尺寸損失函數，并對卷積神經網絡模型進行訓練構建多任務神經網絡，能夠實現對于單目圖像的3D目標檢測；可以提高三維目標檢測的效率和精度，降低使用成本。

技術領域

本發明涉及圖像處理技術領域，尤其涉及一種三維目標檢測方法、裝置以及存儲介質。

背景技術

目標檢測是計算機視覺領域的傳統任務，與圖像識別不同，目標檢測不僅需要識別出圖像上存在的物體，給出對應的類別，還需要將該物體的位置通過最小包圍框(Bounding box)的方式給出。目前，大多數3D物體檢測方法依賴激光雷達數據，用以在自動駕駛場景中提供準確的深度信息，但是激光雷達成本高昂、視場范圍比較小；單目相機安裝復雜，成本低，但是，目前還沒有基于單目視覺的3D目標檢測技術方案。

發明內容

有鑒于此，本發明要解決的一個技術問題是提供一種三維目標檢測方法、裝置以及存儲介質。

根據本公開的一個方面，提供一種三維目標檢測方法，包括：將目標物體在單目圖像中的第一坐標中心，設置為所述目標物體的3D邊界框的第二坐標中心；獲取采集所述單目圖像的單目相機的外參和內參，根據所述外參和內參設置所述目標物體的3D邊界框的空間坐標約束；設置與所述目標物體的姿態角相對應的方向損失函數；基于所述目標物體的平均尺寸、與所述平均尺寸相對應的估計殘差，設置所述3D邊界框的尺寸損失函數；根據所述方向損失函數和所述尺寸損失函數，生成預設的卷積神經網絡模型的模型損失函數；使用單目圖像訓練樣本并基于所述空間坐標約束和所述模型損失函數，對所述卷積神經網絡模型進行訓練，使用訓練好的所述卷積神經網絡模型對單目圖像進行三維目標檢測處理。

可選地，所述根據所述外參和內參設置所述目標物體的3D邊界框的空間坐標約束包括：根據所述外參和內參確定與所述3D邊界框頂點相對應的頂點三維坐標；確定所述目標物體在所述單目圖像中的2D邊界框，基于所述2D邊界框和所述頂點三維坐標生成所述空間坐標約束，以使每個頂點都能投影在所述2D邊界框的至少一條邊上。

可選地，將與所述3D邊界框相對應的三維坐標系設置為以第二坐標中心為原點的世界坐標系；確定位于所述3D邊界框上的點在所述三維坐標系中的三維坐標在所述單目圖像中的投影坐標為：

x＝K[R|T]x₀；

其中，所述三維坐標為x0＝[X,Y,Z,1]^T，所述投影坐標為x＝[x,y,1]^T；R為所述單目相機的旋轉矩陣，T為所述單目相機的平移矩陣，K為所述單目相機的內參矩陣。

可選地，所述姿態角包括：方向角；所述設置與所述目標物體的姿態角相對應的方向損失函數包括：將所述方向角映射到多個重疊的bin中；其中，所述卷積神經網絡模型估計出所述方向角落在所述bin中的概率，以及所述方向角的Cos和Sin值；確定與所述bin相對應的置信損失和定位誤差；基于所述置信損失和定位誤差獲得所述方向損失函數。

可選地，所述方向損失函數為：

Ltheta＝Lconf+w*Lloc；

所述定位誤差為：