[發明專利]行為識別方法、深度學習模型的訓練方法及裝置

有效

• 申請號: 202210352947.3
• 申請日: 2022-04-01
• 公開（公告）號: CN114663980B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 張亞嫻;黃軍;程軍
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/44;G06V10/774;G06V10/764;G06V10/766;G06V10/82;G06N3/0464;G06N3/045;G06N3/08
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 紀雯

1.一種行為識別方法，包括：

對圖像序列進行特征提取，得到與所述圖像序列中的至少一幀圖像關聯的初始圖像特征；

根據所述初始圖像特征和針對所述至少一幀圖像的對象檢測結果，確定與所述至少一幀圖像關聯的目標圖像特征；以及

基于所述目標圖像特征，進行針對所述至少一幀圖像的對象行為識別，得到行為識別結果；

所述對圖像序列進行特征提取，得到與所述圖像序列中的至少一幀圖像關聯的初始圖像特征，包括：

對所述圖像序列進行特征提取，得到與所述至少一幀圖像關聯的全局空間特征，以作為所述初始圖像特征；

所述根據所述初始圖像特征和針對所述至少一幀圖像的對象檢測結果，確定與所述至少一幀圖像關聯的目標圖像特征，包括：

根據所述全局空間特征和由所述對象檢測結果指示的待檢測對象的位置特征，確定與所述待檢測對象關聯的局域空間特征；以及

對所述局域空間特征進行基于預設時域尺度的特征提取，得到與所述待檢測對象關聯的局域時空特征，以作為所述目標圖像特征。

2.根據權利要求1所述的方法，其中，所述基于所述目標圖像特征，進行針對所述至少一幀圖像的對象行為識別，得到行為識別結果，包括：

根據與所述待檢測對象關聯的局域時空特征，篩選包含行為特征的目標時空特征；以及

基于所述目標時空特征，確定所述待檢測對象的行為屬于預設行為類別的置信度，得到所述行為識別結果。

3.根據權利要求1所述的方法，其中，所述基于所述目標圖像特征，進行針對所述至少一幀圖像的對象行為識別，得到行為識別結果，包括：

根據與所述待檢測對象關聯的局域時空特征，確定所述局域時空特征與預設特征空間范圍的行為特征中心之間的距離；以及

根據所述局域時空特征與所述行為特征中心之間的距離，確定針對所述待檢測對象的行為識別結果，

其中，所述行為特征中心用于表征所述特征空間范圍內的行為特征。

4.根據權利要求1至3中任一項所述的方法，還包括：

根據所述行為識別結果和/或與所述待檢測對象關聯的局域時空特征，對所述待檢測對象進行追蹤，得到對象追蹤結果。

5.一種深度學習模型的訓練方法，包括：

利用待訓練的深度學習模型，對樣本圖像序列進行特征提取，得到與所述樣本圖像序列中的至少一幀樣本圖像關聯的初始樣本特征；

根據所述初始樣本特征和針對所述至少一幀樣本圖像的對象檢測結果，確定與所述至少一幀圖像關聯的目標樣本特征；

基于所述目標樣本特征，進行針對所述至少一幀樣本圖像的對象行為識別，得到行為識別結果；以及

根據所述行為識別結果和預設行為標簽，對所述深度學習模型的模型參數進行調整，得到經訓練的深度學習模型；

所述對樣本圖像序列進行特征提取，得到與樣本圖像序列中的至少一幀樣本圖像關聯的初始樣本特征，包括：

對所述樣本圖像序列進行特征提取，得到與所述至少一幀樣本圖像關聯的全局空間特征，以作為所述初始圖像特征；

所述根據所述初始樣本特征和針對所述至少一幀樣本圖像的對象檢測結果，確定與所述至少一幀圖像關聯的目標樣本特征，包括：

根據所述全局空間特征和由所述對象檢測結果指示的待檢測對象的位置特征，確定與所述待檢測對象關聯的局域空間特征；以及

對所述局域空間特征進行基于預設時域尺度的特征提取，得到與所述待檢測對象關聯的局域時空特征，以作為所述目標圖像特征。