[發明專利]視頻識別模型訓練方法、裝置、設備以及存儲介質

在審

• 申請號: 202110589375.6
• 申請日: 2021-05-28
• 公開（公告）號: CN113326767A
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 吳文灝;趙禹翔
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種視頻識別模型訓練方法，包括：

將樣本視頻劃分成多個樣本視頻片段，其中，所述樣本視頻標注有真實類別標簽；

從所述樣本視頻片段中采樣部分樣本視頻幀，并輸入至特征提取網絡，得到所述樣本視頻片段的特征信息；

利用動態片段融合模塊對所述特征信息進行卷積融合，得到融合特征信息，其中，所述動態片段融合模塊的卷積核隨視頻輸入的不同而變化；

將所述融合特征信息輸入至全連接層，得到所述樣本視頻的預測類別；

基于所述真實類別標簽與所述預測類別的差異進行參數調整，得到所述視頻識別模型。

2.根據權利要求1所述的方法，其中，所述利用動態片段融合模塊對所述特征信息進行卷積融合，得到融合特征信息，包括：

將所述特征信息在通道維度上劃分成第一特征信息和第二特征信息；

利用卷積核生成分支網絡確定所述樣本視頻對應的卷積核；

利用所述樣本視頻對應的卷積核對所述第一特征信息進行卷積，得到卷積結果；

將所述卷積結果與所述第二特征信息進行拼接，得到所述融合特征。

3.根據權利要求2所述的方法，其中，所述將所述特征信息在通道維度上劃分成第一特征信息和第二特征信息，包括：

按照預設超參數β將所述特征信息在通道維度上劃分成所述第一特征信息和所述第二特征信息，其中，所述第一特征信息的通道維度是βC，所述第二特征信息的通道維度是(1-β)C，C是所述特征信息的通道維度。

4.根據權利要求3所述的方法，其中，所述利用卷積核生成分支網絡確定所述樣本視頻對應的卷積核，包括：

計算所述第一特征信息的通道維度βC、所述樣本視頻的片段數、所述樣本視頻片段的采樣幀數、所述樣本視頻幀的高和寬的乘積；

將所述乘積輸入至所述卷積核生成分支網絡，得到所述樣本視頻對應的卷積核。

5.根據權利要求2-4中任一項所述的方法，其中，所述卷積核生成分支網絡包括一個全局平均池化層和兩個全連接層。

6.根據權利要求1-5中任一項所述的方法，其中，所述視頻識別模型包括多個殘差層，所述多個殘差層間隔設置至少一個動態片段融合模塊。

7.根據權利要求1-6中任一項所述的方法，其中，所述將樣本視頻劃分成多個樣本視頻片段，包括：

根據視頻長度對所述樣本視頻進行均勻劃分，得到所述多個樣本視頻片段；以及

所述從所述樣本視頻片段中采樣部分樣本視頻幀，包括：

對所述樣本視頻片段進行均勻間隔采樣，得到所述部分樣本視頻幀。

8.根據權利要求1-7中任一項所述的方法，其中，所述基于所述真實類別標簽與所述預測類別的差異進行參數調整，得到所述視頻識別模型，包括：

基于所述真實類別標簽和所述預測類別計算交叉熵損失；

使用隨機梯度下降對所述交叉熵損失進行優化，不斷進行參數更新，直至所述交叉熵損失收斂，得到所述視頻識別模型。

9.一種視頻識別方法，包括：

獲取待識別視頻；

將所述待識別視頻劃分成多個待識別視頻片段；

從所述待識別視頻片段中采樣部分待識別視頻幀，并輸入至視頻識別模型，得到所述待識別視頻的類別，其中，所述視頻識別模型根據權利要求1-8中任一項的訓練方法訓練獲得。

10.根據權利要求9所述的方法，其中，所述待識別視頻的劃分粒度大于用于訓練所述視頻識別模型的樣本視頻的劃分粒度。