[發明專利]神經網絡訓練方法、物品檢測方法、裝置、設備及介質

在審

• 申請號: 202111362267.1
• 申請日: 2021-11-17
• 公開（公告）號: CN114067247A
• 公開（公告）日: 2022-02-18
• 發明（設計）人: 孫蘊哲;羅棕太
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06K9/62;G06N3/04;G06N3/08;G06V10/774
• 代理公司: 北京中知恒瑞知識產權代理事務所(普通合伙) 11889
• 代理人: 袁忠林

1.一種用于物品檢測的神經網絡訓練方法，其特征在于，所述方法包括：

確定多幀樣本圖像幀，以及所述樣本圖像幀的樣本物品標注信息；所述樣本物品標注信息用于指示樣本物品在所述樣本圖像幀中的標注位置；

基于所述樣本物品標注信息，對多幀所述樣本圖像幀進行圖像增強處理，使得所述樣本圖像幀中除其中的樣本物品之外的圖像內容一致；

基于圖像增強處理后的所述樣本圖像幀以及所述樣本物品標注信息，對預先構建好的神經網絡進行訓練，得到訓練好的目標神經網絡，所述目標神經網絡用于對待檢測視頻進行物品檢測。

2.根據權利要求1所述的方法，其特征在于，所述確定多幀樣本圖像幀，以及所述樣本圖像幀的樣本物品標注信息，包括：

獲取樣本視頻，其中，所述樣本視頻記錄有至少一個樣本物品的獲取過程；

對所述樣本視頻進行關鍵幀抽取處理，得到從所述樣本視頻中抽取出多幀樣本圖像幀，其中，每幀樣本圖像幀中包括至少一個樣本物品；

針對每幀樣本圖像幀，對所述樣本圖像幀中的至少一個樣本物品進行標注，得到所述樣本物品標注信息。

3.根據權利要求1或2所述的方法，其特征在于，所述基于所述樣本物品標注信息，對多幀所述樣本圖像幀進行圖像增強處理，包括：

針對每幀所述樣本圖像幀，基于所述樣本物品標注信息指示的、所述樣本圖像幀中標注出的每個樣本物品的標注位置，確定每個樣本物品在所述樣本圖像幀中的標注區域；

將所述樣本圖像幀中除所述標注區域之外的其他區域設置為純色圖像。

4.根據權利要求3所述的方法，其特征在于，所述將所述樣本圖像幀中除所述標注區域之外的區域設置為純色圖像，包括：

獲取與所述樣本圖像幀中除所述標注區域之外的其他區域對應的純色遮罩；

將所述純色遮罩和所述樣本圖像幀進行融合，得到包括所述標注區域和純色區域的樣本圖像幀。

5.根據權利要求1至4任意一項所述的方法，其特征在于，所述基于圖像增強處理后的所述樣本圖像幀以及所述樣本物品標注信息，對預先構建好的神經網絡進行訓練，包括：

將圖像增強處理后的所述樣本圖像幀輸入預先構建的神經網絡，得到輸出的物品檢測結果；

基于所述物品檢測結果相對所述樣本物品標注信息的損失值，調整所述神經網絡的網絡參數；

重復上述訓練過程，直到所述損失值滿足目標條件或者訓練預設次數后，得到訓練好的目標神經網絡。

6.根據權利要求5所述的方法，其特征在于，所述基于所述物品檢測結果相對所述樣本物品標注信息的損失值，調整所述神經網絡的網絡參數，包括：

針對每幀所述樣本圖像幀中的所述樣本物品，基于所述樣本物品標注信息指示的標注位置和所述物品檢測結果指示的檢測位置，計算所述樣本物品的位置擬合誤差值；

若所述位置擬合誤差值小于1，通過預設的第一方式計算所述神經網絡的損失值；

若所述位置擬合誤差值大于或者等于1，通過預設的第二方式計算所述神經網絡的損失值；

基于所述損失值，調整所述神經網絡的網絡參數。

7.一種物品檢測方法，其特征在于，所述方法包括：

獲取待檢測視頻；

將所述待檢測視頻中的目標圖像幀輸入如權利要求1～6任一項所述的神經網絡訓練方法訓練得到的目標神經網絡，得到檢測出的目標物品的位置信息。

8.根據權利要求7所述的方法，其特征在于，在所述獲取待檢測視頻之后，所述方法還包括：

對獲取的待檢測視頻進行關鍵幀抽取處理，得到從所述待檢測視頻中抽取出的多幀所述目標圖像幀。

9.根據權利要求7或8所述的方法，其特征在于，在得到所述目標物品的所述位置信息之后，所述方法還包括：

基于所述目標物品的所述位置信息，從所述目標圖像幀中截取目標物品的物品圖像；

基于所述物品圖像，識別出所述目標物品的物品信息。