[發明專利]學習參與度識別網絡模型的建立方法及裝置

有效

• 申請號: 202010991609.5
• 申請日: 2020-09-21
• 公開（公告）號: CN111832669B
• 公開（公告）日: 2020-12-15
• 發明（設計）人: 徐敏;董瑤;馬曉陽;周麗娟;張樹東;孫眾
• 申請（專利權）人: 首都師范大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06K9/00
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 許曼;賈磊

1.一種學習參與度識別網絡模型的建立方法，其特征在于，包括：

對獲取的多個視頻樣本進行預處理，得到所述視頻樣本的融合特征；

根據所述視頻樣本的融合特征，構建學習參與度識別網絡模型訓練用的最小批；

依據所述最小批中視頻樣本對的嵌入向量距離與所述最小批中視頻樣本對的參與度標簽距離一致性有序的原則，構造有序度量損失函數，其中，所述嵌入向量由所述學習參與度識別網絡模型根據視頻樣本的融合特征計算得到；

根據所述有序度量損失函數，優化所述學習參與度識別網絡模型中的參數；

對獲取的多個視頻樣本進行預處理，得到所述視頻樣本的融合特征，包括：

從每一視頻樣本中抽取k組子圖像數據；

確定各組子圖像數據的多模態特征；

融合每一視頻樣本中k組子圖像數據的多模態特征，得到各視頻樣本的融合特征。

2.如權利要求1所述的方法，其特征在于，確定各組子圖像數據的多模態特征，包括：

提取各組子圖像數據的面部特征、身體姿態特征、動作特征；

串連各組子圖像數據中提取出的面部特征、身體姿態特征、動作特征，得到各組子圖像數據的多模態特征。

3.如權利要求1所述的方法，其特征在于，融合每一視頻樣本中k組子圖像數據的多模態特征，得到各視頻樣本的融合特征，包括對每一視頻樣本的k組子圖像數據執行如下操作：

對該k組子圖像數據的多模態特征進行過濾，得到該k組子圖像數據的顯著值；

根據該k組子圖像數據的顯著值，確定該k組子圖像數據的權重；

利用該k組子圖像數據的權重，對該k組子圖像數據的多模態特征進行加權融合，得到該視頻樣本的融合特征。

4.如權利要求1所述的方法，其特征在于，依據所述最小批中視頻樣本對的嵌入向量距離與所述最小批中視頻樣本對的參與度標簽距離一致性有序的原則，構造有序度量損失函數，包括：

在有序度量損失函數中約束所述最小批中視頻樣本對的嵌入向量距離比值及所述最小批中視頻樣本對的參與度標簽距離比值。

5.如權利要求4所述的方法，其特征在于，構造的有序度量函數公式利用如下公式表示：

其中，sim(v_a,v_i)為視頻樣本對的嵌入向量v_a,v_i距離，sim’(y_a,y_i)為視頻樣本對參與度標簽y_a,y_i距離，a為從最小批視頻樣本中選擇的錨點，i為錨點k’近鄰的視頻樣本中選擇的點，j為從剩余近鄰的視頻樣本中隨機選擇的點，（a,i,j）為由錨點a及其相鄰的兩個點i和j組成的三元組，v為嵌入向量，y為參與度標簽。

6.如權利要求1所述的方法，其特征在于，還包括：

根據對象的學習參與度類別，構造Focal損失函數；

根據所述有序度量損失函數，優化所述學習參與度識別網絡模型中的參數進一步為：

根據所述有序度量損失函數及所述Focal損失函數，構造如下聯合優化目標函數：

L=λ₁*L_metric ＋λ₂*FL，

其中，λ₁、λ₂為超參數，L_metric為有序度量損失函數，FL為Focal損失函數；

根據所述聯合優化目標函數，優化所述學習參與度識別網絡模型中的參數。