[發明專利]物品檢測方法、裝置、電子設備及存儲介質

在審

• 申請號: 202210369860.7
• 申請日: 2022-04-08
• 公開（公告）號: CN114648632A
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 孫蘊哲;羅棕太
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06V10/25
• 分類號: G06V10/25;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京中知恒瑞知識產權代理事務所(普通合伙) 11889
• 代理人: 袁忠林

1.一種物品檢測方法，其特征在于，包括：

獲取反映用戶從存儲柜中拿取物品的待檢測圖像；

將所述待檢測圖像輸入訓練好的目標神經網絡進行目標檢測，得到所述待檢測圖像中的每個物品的位置信息；

其中，所述訓練好的目標神經網絡基于預先構建好的神經網絡、圖像樣本和損失函數訓練得到，所述圖像樣本中包含至少兩個樣本物品以及每個樣本物品的真實標注框，所述損失函數包括第一損失函數以及第二損失函數，所述第一損失函數用于減小所述每個物品的預測框與所述真實標注框之間的距離，所述第二損失函數用于增大所述每個物品的預測框與目標檢測框之間的距離，所述目標檢測框包括目標真實標注框以及目標預測框，所述目標真實標注框為與所述預測框相鄰的真實標注框，所述目標預測框為與所述預測框相鄰的其他預測框，所述預測框為所述神經網絡對所述圖像樣本進行目標檢測得到的每個物品的檢測框。

2.根據權利要求1所述的方法，其特征在于，所述目標神經網絡通過如下方法訓練得到：

獲取圖像樣本集合，所述圖像樣本集合包括至少兩幀所述圖像樣本；

將所述圖像樣本輸入所述神經網絡進行目標檢測，得到所述圖像樣本中的每個物品的預測框；

基于所述圖像樣本中的每個物品的預測框以及所述圖像樣本中的每個物品的真實標注框，確定所述損失函數的損失值；

基于所述損失值，調整所述神經網絡的網絡參數；

重復上述訓練過程，直至所述損失值滿足預設條件或者訓練次數達到預設次數，得到所述訓練好的目標神經網絡。

3.根據權利要求2所述的方法，其特征在于，所述基于所述圖像樣本中的每個物品的預測框以及所述圖像樣本中的每個物品的真實標注框，確定所述損失函數的損失值，包括：

針對所述每個物品，基于所述預測框以及所述真實標注框，確定所述第一損失函數的第一損失值；

針對所述每個物品，基于所述預測框以及所述目標檢測框，確定所述第二損失函數的第二損失值；

基于所述第一損失值以及所述第二損失值，確定所述損失函數的損失值。

4.根據權利要求3所述的方法，其特征在于，所述第二損失函數包括第一項以及第二項，所述針對所述每個物品，基于所述預測框以及所述目標檢測框，確定所述第二損失函數的第二損失值，包括：

針對所述每個物品，基于所述預測框以及所述目標真實標注框，確定所述第一項的損失值；

針對所述每個物品，基于所述預測框以及所述目標預測框，確定所述第二項的損失值；

基于所述第一項的損失值以及所述第二項的損失值，確定所述第二損失函數的第二損失值。

5.根據權利要求2所述的方法，其特征在于，所述將所述圖像樣本輸入所述神經網絡進行目標檢測，得到所述圖像樣本中的每個物品的預測框，包括：

針對每幀所述圖像樣本，基于所述真實標注框，對所述圖像樣本進行圖像增強處理；

將圖像增強處理后的圖像樣本輸入所述神經網絡進行目標檢測，得到所述圖像增強處理后的圖像樣本中的每個物品的預測框；

所述基于所述圖像樣本中的每個物品的預測框以及所述圖像樣本中的每個物品的真實標注框，確定所述損失函數的損失值，包括：

基于所述圖像增強處理后的圖像樣本中的每個物品的預測框以及所述圖像增強處理后的圖像樣本中的每個物品的真實標注框，確定所述損失函數的損失值。

6.根據權利要求5所述的方法，其特征在于，所述針對每幀所述圖像樣本，基于所述真實標注框，對所述圖像樣本進行圖像增強處理，包括：

針對每幀所述圖像樣本，基于所述每個物品的真實標注框，確定所述每個物品在所述圖像樣本中的標注區域；

將每幀所述圖像樣本中除所述標注區域之外的其他區域設置為純色圖像。

7.根據權利要求1至6任一項所述的方法，其特征在于，所述方法還包括：

基于所述每個物品的位置信息，從所述待檢測圖像中截取所述每個物品的物品圖像；

對所述每個物品的物品圖像進行物品種類識別，確定所述每個物品的種類信息。