[發明專利]目標檢測模型的訓練、目標檢測方法、裝置以及介質

在審

• 申請號: 202210788464.8
• 申請日: 2022-07-06
• 公開（公告）號: CN115082830A
• 公開（公告）日: 2022-09-20
• 發明（設計）人: 曹瓊;石鼎豐;陶大程
• 申請（專利權）人: 京東科技信息技術有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 方亮;許蓓

本公開提供了一種目標檢測模型的訓練方法、目標檢測方法、裝置以及存儲介質，其中的訓練方法包括：基于視頻樣本和增強樣本生成訓練樣本；使用編碼器模塊并基于與訓練樣本相對應的視頻特征信息，生成查詢特征信息并構建與增強樣本相對應的第一損失函數；使用解碼器模塊并基于查詢特征信息，生成與視頻樣本相對應的第一分類置信度信息和用于表征目標位置的回歸信息、與增強樣本相對應的第二分類置信度信息，并構建與訓練樣本相對應的第二損失函數；使用第一損失函數和第二損失函數進行調整處理。本公開能夠增強輸入的視頻特征的可區分性，可以增大動作的特征差異性并提升特征的可判別性；對于模型的分類訓練充分，使得預測結果更加精準。

技術領域

本公開涉及人工智能技術領域，尤其涉及一種目標檢測模型的訓練方法、目標檢測方法、裝置以及存儲介質。

背景技術

隨著視頻數據量的日益增長，對于視頻數據的分析和處理的需求日漸提升。例如，在直播內容安全性檢測、短視頻危險動作檢測等場景，需要使用視頻動作檢測方法識別視頻數據中的風險動作。目前，在進行動作檢測時，通常使用DETR(Bidirectional EncoderRepresentations from Transformer，基于transformer結構的雙向編碼器表征)模型進行目標檢測。DETR模型利用Transformer的結構，實現了基于查詢的二維圖像目標檢測。Transformer結構是一種基于注意力(Attention)機制的網絡結構，通過Transformer構建模型，能夠有效地提升視頻動作檢測方法的性能。在實現本發明的過程中，發明人發現DETR模型在訓練時，每個輸入的視頻片段通過匹配得到和標簽數量相同的正樣本，其它額外的預測被設置成負樣本，使得參與訓練的正樣本的數量不足，造成對于DETR模型的分類訓練不夠充分，分類的準確性較低。

發明內容

有鑒于此，本發明要解決的一個技術問題是提供一種目標檢測模型的訓練方法、目標檢測方法、裝置以及存儲介質。

根據本公開的第一方面，提供一種目標檢測模型的訓練方法，其中，目標檢測模型包括：編碼器模塊和解碼器模塊；所述訓練方法包括：獲取與視頻樣本相對應的增強樣本，基于所述視頻樣本和所述增強樣本生成訓練樣本；使用編碼器模塊并基于與所述訓練樣本相對應的視頻特征信息，生成查詢特征信息，并構建與所述增強樣本相對應的第一損失函數；使用解碼器模塊并基于所述查詢特征信息，生成與所述視頻樣本相對應的第一分類置信度信息和用于表征目標位置的回歸信息、與所述增強樣本相對應的第二分類置信度信息，并構建與所述訓練樣本相對應的第二損失函數；使用所述第一損失函數和所述第二損失函數，對所述目標檢測模型進行調整處理。

可選地，所述增強樣本包括：與所述視頻樣本相對應的正樣本和負樣本；所述構建與所述增強樣本相對應的第一損失函數包括：基于所述視頻特征信息獲取與所述正樣本和所述負樣本相對應的片段特征信息；根據所述片段特征信息生成第一損失函數。

可選地，所述編碼器模塊包括：全連接層和感興趣區域池化RoI Pooling層；所述基于所述視頻特征信息獲取與所述正樣本和所述負樣本相對應的片段特征信息包括：通過所述全連接層對所述視頻特征信息進行處理，獲取與所述視頻特征信息相對應的全連接特征；通過所述RoI Pooling層對所述全連接信息進行特征提取處理，獲取所述片段特征信息。

可選地，所述根據所述片段特征信息生成第一損失函數包括：在所述片段信息中獲取與所述視頻樣本相對應的第一片段特征、與所述正樣本相對應的第二片段特征；基于所述第一片段特征和所述第二片段特征，確定第一樣本特征；在所述片段信息中獲取與所述負樣本相對應的第三片段特征；基于所述第一片段特征、所述第二片段特征和所述第三片段特征，確定第二樣本特征；根據所述第一樣本特征和所述第二樣本特征，生成所述第一損失函數。

可選地，所述構建與所述訓練樣本相對應的第二損失函數包括：確定與所述第一分類置信度信息相對應的第一分類損失函數；確定與所述第二分類置信度信息相對應的第二分類損失函數；基于所述第二分類損失函數和所述第二分類損失函數，生成所述第二損失函數。