[發明專利]神經網絡訓練、行駛控制方法及裝置

在審

• 申請號: 202110224337.0
• 申請日: 2021-02-26
• 公開（公告）號: CN112926461A
• 公開（公告）日: 2021-06-08
• 發明（設計）人: 王泰;祝新革;林達華
• 申請（專利權）人: 商湯集團有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京中知恒瑞知識產權代理事務所(普通合伙) 11889
• 代理人: 吳迪

1.一種神經網絡訓練方法，其特征在于，包括：

獲取訓練樣本；

基于所述訓練樣本中待檢測對象的二維標注框的尺度，確定所述二維標注框內每個像素點匹配的目標神經網絡中的子網絡結構；其中，不同子網絡結構用于對所述訓練樣本中不同尺度的所述二維標注框內的像素點進行特征提取；

確定所述訓練樣本中所述二維標注框內的至少一個像素點對應的、所述待檢測對象的三維標注數據；

基于各個所述子網絡結構分別對應的、具有所述三維標注數據的至少一個像素點，訓練所述目標神經網絡中的每個所述子網絡結構，得到訓練后的目標神經網絡。

2.根據權利要求1所述的方法，其特征在于，所述基于所述訓練樣本中待檢測對象的二維標注框的尺度，確定所述二維標注框內每個像素點匹配的子網絡結構，包括：

針對所述二維標注框內的每個像素點，基于所述二維標注框的尺度，確定所述像素點與所述二維標注框的每條邊之間的最長第一距離；

基于所述最長第一距離、和每個子網絡結構對應的預設的距離范圍，確定與所述像素點匹配的子網絡結構。

3.根據權利要求1或2所述的方法，其特征在于，所述確定所述訓練樣本中所述二維標注框內的至少一個像素點對應的、所述待檢測對象的三維標注數據，包括：

基于與所述二維標注框內像素點分別匹配的所述子網絡結構，確定所述訓練樣本中所述二維標注框內屬于前景點的目標像素點；

確定所述目標像素點對應的、所述待檢測對象的所述三維標注數據。

4.根據權利要求3所述的方法，其特征在于，所述基于與所述二維標注框內像素點分別匹配的所述子網絡結構，確定所述訓練樣本中所述二維標注框內屬于前景點的目標像素點，包括：

針對所述二維標注框內的每個像素點，確定所述像素點與所述二維標注框內所述待檢測對象的中心點之間的第二距離；

基于與所述像素點匹配的所述子網絡結構的步幅和預設的半徑參數，確定所述像素點對應的距離閾值；

在所述第二距離小于所述距離閾值的情況下，確定所述像素點為所述目標像素點。

5.根據權利要求1-4任一所述的方法，其特征在于，所述三維標注數據包括以下數據中的至少一種：

用于表征像素點與對應的待檢測對象的中心點之間偏差的偏移量、像素點對應的待檢測對象的中心點的深度、三維檢測框的尺寸、三維檢測框的朝向、朝向類別、待檢測對象的速度、用于表征像素點與對應的待檢測對象的中心點之間相近程度的中心度、待檢測對象的目標類別、表征待檢測對象狀態的屬性類別。

6.根據權利要求1-5任一所述的方法，其特征在于，在基于所述訓練樣本中待檢測對象的二維標注框的尺度，確定所述二維標注框內每個像素點匹配的目標神經網絡中的子網絡結構之前，還包括：

在所述訓練樣本中存在同一像素點位于多個二維標注框內的情況下，確定該像素點分別與每個所述二維標注框中待檢測對象的中心點之間的第三距離；

將對應所述第三距離最小的二維標注框，作為該像素點對應的二維標注框。

7.根據權利要求1-6任一所述的方法，其特征在于，所述目標神經網絡中每個子網絡結構對應一個利用所述樣本數據訓練得到的回歸指標，所述回歸指標用于對與所述子網絡結構相連的檢測頭網絡輸出的三維預測數據中的預測回歸數據進行倍數調整；

其中，所述檢測頭網絡包括分類網絡和回歸網絡，所述檢測頭網絡用于基于每個子網絡結構輸出的特征圖，確定所述子網絡結構對應的三維預測數據，所述三維預測數據包括所述分類網絡輸出的預測類別數據、和所述回歸網絡輸出的預測回歸數據。

8.根據權利要求1-7任一所述的方法，其特征在于，在得到訓練后的目標神經網絡之后，還包括：

獲取待檢測圖像；

利用訓練后的所述目標神經網絡對所述待檢測圖像進行檢測，確定所述待檢測圖像中包括的至少一個目標對象的三維檢測結果。