[發明專利]基于深度學習的人體時空動作檢測方法及系統、設備

在審

• 申請號: 202310256325.5
• 申請日: 2023-03-07
• 公開（公告）號: CN116385926A
• 公開（公告）日: 2023-07-04
• 發明（設計）人: 劉軍;程煒
• 申請（專利權）人: 深圳英飛拓智能技術有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V40/10;G06V10/62;G06V10/82;G06V10/766;G06V10/80;G06N3/0464;G06N3/045
• 代理公司: 深圳市欣亞知識產權代理事務所(普通合伙) 44621
• 代理人: 葛勤;程光慧

1.一種基于深度學習的人體時空動作檢測方法，其特征在于，所述方法包括：

從獲取的視頻數據中讀取連續視頻幀，并對所述連續視頻幀進行預處理，所述連續視頻幀包括關鍵視頻幀；

將預處理后的所述連續視頻幀輸入至3D?ResNeXt101骨干網絡中進行3D卷積，得到人體的時序特征信息，同時將所述關鍵視頻幀輸入至2DYOLO-X骨干網絡中，得到人體的空間特征信息；

通過預設的BERT模型融合所述時序特征信息和所述空間特征信息，得到聚合結果，對所述聚合結果進行卷積操作輸出動作類別分數和邊界框回歸參數；

通過非極大值抑制算法對輸出所述動作類別分數和所述邊界框回歸參數的所述聚合結果進行計算，得到人體時空動作檢測結果。

2.根據權利要求1所述的方法，其特征在于，所述將預處理后的所述連續視頻幀輸入至3D?ResNeXt101骨干網絡中進行3D卷積，得到人體的時序特征信息，具體包括：

提取輸入至所述3D?ResNeXt101骨干網絡的所述連續視頻幀的第一時序特征圖；

通過所述3D?ResNeXt101骨干網絡的第一階段進行空間維度的下采樣，統一所述第一時序特征圖的通道數；

通過所述3D?ResNeXt101骨干網絡的第二階段至第五階段依次通過不同的殘差塊對統一通道數后的所述第一時序特征圖進行計算，得到所述時序特征信息，其中，所述3DResNeXt101骨干網絡輸出的通道數將時間維度轉化為1，以適配2D?YOLO-X骨干網絡。

3.根據權利要求2所述的方法，其特征在于，任一所述殘差塊對所述動作時序特征進行計算，具體包括：

對所述動作時序特征圖進行1×1×1的三維卷積，將所述第一時序特征圖的通道數統一為F，并對三維卷積后的所述第一時序特征圖通過批歸一化和ReLU函數激活，其中，F為大于或等于1的正整數；

根據所述動作時序特征圖的通道數將激活后的所述第一時序特征圖平均等分為多組，將每組分別再次進行相同的3×3×3三維卷積并進行下采樣，拼接得到仍具有F個通道數的第二時序特征圖，并再次通過批歸一化和ReLU函數激活；

將再次激活后的所述第二時序特征圖進行1×1×1的三維卷積，并將維數升至兩部的F，進行批歸一化后與所述第一時序特征圖進行殘差相接，得到第三時序特征圖之后再次激活。

4.根據權利要求1所述的方法，其特征在于，所述同時將所述關鍵視頻幀輸入至2DYOLO-X骨干網絡中，得到人體的空間特征信息，具體包括：

將所述關鍵視頻幀通過所述2D?YOLO-X骨干網絡中的CSP模塊的進行特征提取，并獲取到三個特征層，其中，所述三個特征層的尺寸與3D卷積分支的尺寸相同；

通過所述2D?YOLO-X骨干網絡的加強特征提取PAFPN結構將所述三個特征層分別通過上采樣和下采樣的融合方式得到所述空間特征信息。

5.根據權利要求1所述的方法，其特征在于，所述通過預設的BERT模型融合所述時序特征信息和所述空間特征信息，得到聚合結果，具體包括：

拼接所述時序特征信息和所述空間特征信息，得到通道數為N的特征圖；

將所述通道數為N的特征圖輸入至所述預設的BERT模型中，并將網絡學習到的位置編碼疊加至所述通道數為N的特征圖中，賦予位置信息，得到N個token；

將所述預設的BERT模型中的class?token和所述N個token輸入至多頭注意力結構中，進行雙向自注意力計算，通過所述class?token統籌所述N個token的權重；

將統籌所述N個token的權重的所述class?token經過兩層的前饋網絡，輸出所述聚合結果。