[發明專利]交互檢測模型的訓練方法、交互檢測方法及相關設備

在審

• 申請號: 202210596450.6
• 申請日: 2022-05-18
• 公開（公告）號: CN114898272A
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 蘇海昇;范弘煒
• 申請（專利權）人: 上海商湯智能科技有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V40/20;G06V10/82;G06V10/774;G06V10/764;G06V10/40;G06V10/22;G06T7/70;G06T7/11;G06N3/04
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 何倚雯

1.一種交互檢測模型的訓練方法，其特征在于，包括：

基于交互檢測模型的特征提取網絡對樣本視頻數據中樣本圖像進行處理，得到所述樣本圖像中樣本人體的樣本人體特征；其中，所述樣本視頻數據標注有表征樣本物體是否與所述樣本人體發生交互的樣本分值，以及與所述樣本物體發生交互的樣本人體的樣本交互動作；

基于所述交互檢測模型的動作分類網絡對所述樣本人體特征進行分類，得到所述樣本人體的第一預測交互動作；

基于所述樣本物體的二維位置和所述樣本人體的形態參數進行定位，得到所述樣本物體的三維位置；其中，所述二維位置基于所述樣本人體特征定位得到；

基于所述形態參數和所述三維位置進行預測，得到所述樣本物體的預測分值；其中，所述預測分值表示所述樣本物體存在人物交互的可能性；

基于所述樣本交互動作與所述第一預測交互動作的差異，以及所述樣本分值與所述預測分值的差異，調整所述交互檢測模型的網絡參數。

2.根據權利要求1所述的方法，其特征在于，所述基于所述樣本人體特征定位得到二維位置，包括：

基于所述樣本人體特征和所述樣本物體的樣本物體特征共同定位得到所述樣本物體的二維位置。

3.根據權利要求2所述的方法，其特征在于，所述基于所述樣本人體特征和所述樣本物體的樣本物體特征共同定位得到所述樣本物體的二維位置，包括：

基于所述樣本圖像的樣本圖像特征和所述樣本圖像中檢測到的物體區域，提取得到所述物體區域中所述樣本物體的樣本物體特征；

基于所述樣本物體特征和所述樣本人體特征進行預測，得到交互分值；其中，所述交互分值表示所述樣本人體特征所屬的樣本人體與所述物體區域中所述樣本物體的交互緊密程度；

基于滿足預設條件的交互分值所對應的物體區域，得到所述樣本物體的二維位置。

4.根據權利要求3所述的方法，其特征在于，所述基于所述樣本圖像的樣本圖像特征和所述樣本圖像中檢測到的物體區域，提取得到所述物體區域中所述樣本物體的樣本物體特征，包括：

基于所述樣本圖像進行物體檢測，得到若干候選區域；

基于所述第一預測交互動作，選擇所述候選區域作為所述物體區域；

基于所述物體區域，從所述樣本圖像特征提取所述樣本物體特征。

5.根據權利要求1至4任一項所述的方法，其特征在于，所述基于交互檢測模型的特征提取網絡對樣本視頻數據中樣本圖像進行處理，得到所述樣本圖像中樣本人體的樣本人體特征，包括：

基于所述特征提取網絡提取所述樣本圖像的樣本圖像特征，并對所述樣本圖像進行人體檢測，得到所述樣本人體的人體區域；

基于所述人體區域，從所述樣本圖像特征提取所述樣本人體特征。

6.根據權利要求1至5任一項所述的方法，其特征在于，所述基于所述樣本物體的二維位置和所述樣本人體的形態參數進行定位，得到所述樣本物體的三維位置，包括：

基于所述二維位置，預測所述樣本物體在三維空間的初始位置；

基于所述初始位置和所述形態參數，構建以所述初始位置的修正參數為優化目標的動作分類損失；

基于所述動作分類損失，優化得到所述修正參數，并基于所述修正參數對所述初始位置進行位置修正，得到所述三維位置。

7.根據權利要求6任一項所述的方法，其特征在于，在所述基于所述樣本交互動作與所述第一預測交互動作的差異，以及所述樣本分值與所述預測分值的差異，調整所述交互檢測模型的網絡參數之前，所述方法還包括：

基于所述形態參數和所述初始位置進行預測，得到所述樣本人體的第二預測交互動作；

所述基于所述樣本交互動作與所述第一預測交互動作的差異，以及所述樣本分值與所述預測分值的差異，調整所述交互檢測模型的網絡參數，包括：

基于所述樣本交互動作與所述第一預測交互動作的差異、所述樣本分值與所述預測分值的差異，以及所述第一預測交互動作與所述第二預測交互動作的差異，調整所述交互檢測模型的網絡參數。