[發明專利]目標檢測方法和模型訓練方法、裝置、電子設備和介質

有效

• 申請號: 202011374453.2
• 申請日: 2020-11-30
• 公開（公告）號: CN112487979B
• 公開（公告）日: 2023-08-04
• 發明（設計）人: 葉曉青;譚嘯;孫昊
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06V20/54
• 分類號: G06V20/54;G06V10/44;G06V10/764;G06V10/82;G06N3/0464;G06N3/084
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 范芳茗

1.一種目標檢測方法，包括：

使用目標檢測模型來根據輸入圖像確定輸入圖像中的對象在3維3D空間中的3D包圍框的尺寸、所述對象在3D空間中的朝向以及所述對象的高斯熱力圖；

根據所述對象的高斯熱力圖計算所述3D包圍框在所述3D空間中的位置；以及

基于所述3D包圍框在所述3D空間中的位置、所述3D包圍框的尺寸以及所述對象的朝向，生成包圍所述對象的3D包圍框，包括：將所述高斯熱力圖中熱力值最大的點作為底面中心點；確定所述底面中心點在所述輸入圖像中的二維坐標；根據輸入圖像的圖像采集設備的內參、底面中心點相對于圖像采集設備的深度和所述二維坐標、確定所述底面中心點在所述3D空間中的3D坐標；以及根據所述底面中心點的3D坐標、所述3D包圍框的尺寸以及所述對象的朝向，生成包圍所述對象的3D包圍框；

其中，根據在所述輸入圖像提取的第一圖像塊的尺寸、在所述輸入圖像提取的第二圖像塊的尺寸、所述3D包圍框的底面中心點在所述輸入圖像中的投影坐標以及第二圖像塊的中心點坐標，確定所述底面中心點在所述輸入圖像中的二維坐標。

2.根據權利要求1所述的方法，其中，所述目標檢測模型是利用以下操作訓練的：

獲取樣本數據，所述樣本數據包括樣本圖像、所述樣本圖像中的對象在3D空間中的3D標定信息以及所述對象的高斯熱力圖；

使用所述目標檢測模型，根據所述樣本圖像產生所述對象在3D空間中的3D標定信息以及所述對象的高斯熱力圖；以及

根據所產生的3D標定信息與所述樣本數據中的3D標定信息之間的差異、以及所產生的高斯熱力圖與所述樣本數據中的高斯熱力圖之間的差異，調整所述目標檢測模型的參數。

3.根據權利要求2所述的方法，其中，所述目標檢測模型包括特征提取網絡、預測全連接模塊以及高斯熱力圖學習模塊，所述樣本數據中的3D標定信息包括3D包圍框的尺寸和所述對象的朝向，所述使用所述目標檢測模型，根據所述樣本圖像產生所述對象在3D空間中的3D標定信息以及所述對象的高斯熱力圖包括：

利用所述特征提取網絡對所述樣本圖像進行特征提取，得到樣本圖像的特征圖；

利用所述預測全連接模塊對得到的特征圖施加全連接層，得到3D包圍框的尺寸和所述對象的朝向；

利用所述高斯熱力圖學習模塊來基于所述樣本圖像的特征圖產生所述對象的高斯熱力圖。

4.根據權利要求3所述的方法，其中，所述特征提取網絡包括第一子網絡和第二子網絡，所述利用所述特征提取網絡對所述樣本圖像進行特征提取包括：

利用第一子網絡對所述樣本圖像進行第一特征提取并對所述樣本圖像中的對象進行分類，得到第一特征圖、所述樣本圖像中包圍所述對象的2D包圍框和對象的類別信息；

利用第二子網絡對所述第一特征圖進行第二特征提取，得到第二特征圖作為所述樣本圖像的特征圖。

5.?根據權利要求3所述的方法，其中，所述樣本數據還包括所述3D空間中3D包圍框的位置，所述獲取樣本數據包括：

獲取所述樣本圖像和所述3D包圍框的位置；以及

根據所獲取的樣本圖像和所述3D包圍框的位置，生成所述對象的高斯熱力圖。

6.根據權利要求5所述的方法，其中，所述根據所獲取的樣本圖像和所述3D包圍框的位置，生成所述對象的高斯熱力圖包括：

將所述3D包圍框的位置投影到所述樣本圖像中，得到所述3D包圍框在所述樣本圖像中的投影點；

獲取所述樣本圖像中包圍所述對象的2D包圍框的位置，并以所述2D包圍框的位置為中心從所述樣本圖像中提取第一尺寸的圖像塊；

根據所述樣本圖像中的所述投影點的位置以及所述2D包圍框的位置，將所述第一尺寸的圖像塊轉換成第二尺寸的圖像塊；以及

在所述第二尺寸的圖像塊中，以所述投影點在所述第二尺寸的圖像塊中的位置為中心計算所述對象的熱力分布，得到所述對象的高斯熱力圖。

7.根據權利要求6中所述的方法，其中，所述樣本圖像中2D包圍框的位置是預先標定的，或者是根據所述樣本數據計算得到的。