[發明專利]模型生成方法、視頻分類方法及裝置

有效

• 申請號: 201910631666.X
• 申請日: 2019-07-12
• 公開（公告）號: CN110457524B
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 劉倩;王濤;劉潔;蔡東陽
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F16/75
• 分類號: G06F16/75;G06N3/04;G06N3/08
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 莎日娜

1.一種模型生成方法，其特征在于，所述方法包括：

獲取樣本集，其中，所述樣本集中包括多個視頻樣本；

對所述樣本集中的各視頻樣本進行采樣，得到各視頻樣本的采樣幀，其中，所述采樣幀中包括多個視頻幀；

將所述采樣幀輸入到預設速度-準確度均衡卷積神經網絡的前端2D網絡中，通過所述預設速度-準確度均衡卷積神經網絡中的所述前端2D網絡、后端2D網絡和后端3D網絡進行模型訓練，得到視頻分類模型；

其中，所述后端2D網絡與所述后端3D網絡并聯、且均與所述前端2D網絡級聯；所述前端2D網絡為輕量級2D卷積神經網絡中的前n1個層，所述前n1個層中嵌有m1個注意力機制卷積神經網絡模塊，所述后端2D網絡為所述輕量級2D卷積神經網絡中的后n2個層，所述后n2個層中嵌有m2個注意力機制卷積神經網絡模塊，所述輕量級2D卷積神經網絡由N個層構成，n1+n2=N，所述后端3D網絡為3D殘差卷積神經網絡，1≤m1＜n1，1≤m2＜n2；

其中，所述預設的速度-準確度均衡卷積神經網絡是在ECO Full框架基礎上改進得到的卷積神經網絡；

所述輕量級2D卷積神經網絡為低寬度乘數的Mobilenet V2網絡；所述Mobilenet V2網絡被劃分為M個階段，所述前端2D網絡為所述Mobilenet V2網絡中的前4個階段，所述后端2D網絡為所述Mobilenet V2網絡中的后M-4個階段。

2.根據權利要求1所述的方法，其特征在于，所述前端2D網絡的每個階段中嵌有1個注意力機制卷積神經網絡模塊，所述后端2D網絡的每個階段中嵌有1個注意力機制卷積神經網絡模塊。

3.根據權利要求1所述的方法，其特征在于，所述注意力機制卷積神經網絡模塊為縮聚-激發SE模塊。

4.一種視頻分類方法，用于基于權利要求1至3任一項所述的視頻分類模型進行視頻分類，其特征在于，所述方法包括：

獲取待分類視頻；

對所述待分類視頻進行采樣，得到所述待分類視頻的采樣幀；

將所述待分類視頻對應的采樣幀輸入所述視頻分類模型，根據所述視頻分類模型的輸出結果確定所述待分類視頻的視頻類別。

5.一種模型生成裝置，其特征在于，所述裝置包括：

第一獲取模塊，用于獲取樣本集，其中，所述樣本集中包括多個視頻樣本；

第一采樣模塊，用于對所述樣本集中的各視頻樣本進行采樣，得到各視頻樣本的采樣幀，其中，所述采樣幀中包括多個視頻幀；

訓練模塊，用于將所述采樣幀輸入到預設速度-準確度均衡卷積神經網絡的前端2D網絡中，通過所述預設速度-準確度均衡卷積神經網絡中的所述前端2D網絡、后端2D網絡和后端3D網絡進行模型訓練，得到視頻分類模型；

其中，所述后端2D網絡與所述后端3D網絡并聯、且均與所述前端2D網絡級聯；所述前端2D網絡為輕量級2D卷積神經網絡中的前n1個層，所述前n1個層中嵌有m1個注意力機制卷積神經網絡模塊，所述后端2D網絡為所述輕量級2D卷積神經網絡中的后n2個層，所述后n2個層中嵌有m2個注意力機制卷積神經網絡模塊，所述輕量級2D卷積神經網絡由N個層構成，n1+n2=N，所述后端3D網絡為3D殘差卷積神經網絡，1≤m1＜n1，1≤m2＜n2；

其中，所述預設的速度-準確度均衡卷積神經網絡是在ECO Full框架基礎上改進得到的卷積神經網絡；

所述輕量級2D卷積神經網絡為低寬度乘數的Mobilenet V2網絡；所述Mobilenet V2網絡被劃分為M個階段，所述前端2D網絡為所述Mobilenet V2網絡中的前4個階段，所述后端2D網絡為所述Mobilenet V2網絡中的后M-4個階段。

6.一種視頻分類裝置，用于基于權利要求5所述的視頻分類模型進行視頻分類，其特征在于，所述裝置包括：

第二獲取模塊，用于獲取待分類視頻；

第二采樣模塊，用于對所述待分類視頻進行采樣，得到所述待分類視頻的采樣幀；

分類模塊，用于將所述待分類視頻對應的采樣幀輸入所述視頻分類模型，根據所述視頻分類模型的輸出結果確定所述待分類視頻的視頻類別。