[發明專利]模型生成方法、視頻分類方法及裝置

有效

• 申請號: 201910631666.X
• 申請日: 2019-07-12
• 公開（公告）號: CN110457524B
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 劉倩;王濤;劉潔;蔡東陽
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F16/75
• 分類號: G06F16/75;G06N3/04;G06N3/08
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 莎日娜

本發明公開一種模型生成方法、視頻分類方法及裝置，一種模型生成方法包括：獲取樣本集，對樣本集中的各視頻樣本進行采樣得到采樣幀；將采樣幀輸入到預設速度?準確度均衡卷積神經網絡的前端2D網絡中，通過該卷積神經網絡中的前端2D網絡、后端2D網絡和后端3D網絡進行模型訓練，得到視頻分類模型；后端2D網絡與后端3D網絡并聯、且均與前端2D網絡級聯；前端2D網絡為輕量級2D卷積神經網絡的前n1個層，前n1個層中嵌有m1個注意力機制卷積神經網絡模塊，后端2D網絡為輕量級2D卷積神經網絡的后n2個層，后n2個層中嵌有m2個注意力機制卷積神經網絡模塊，輕量級2D卷積神經網絡由N個層構成，n1+n2＝N。

技術領域

本發明涉及機器視覺技術領域，特別涉及一種模型生成方法、視頻分類方法及裝置。

背景技術

隨著互聯網技術的快速發展，視頻已成為內容創作和社交媒體平臺的重要傳播方式之一。視頻分類作為視頻行業中一個重要的環節，視頻分類的效率直接影響著后續視頻處理的效率。

現有技術中的一些視頻分類方法，分類速度快但準確度低；另一些視頻分類方法，分類準確度高但速度慢，均無法做到分類速度和準確度的均衡。因此，如何兼顧視頻分類的速度和準確度已成為業內亟待解決的技術問題。

發明內容

本發明實施例提供一種模型生成方法、視頻分類方法及裝置，以解決現有技術中存在的視頻分類速度和準確度不均衡的技術問題。

根據本發明的第一方面，公開了一種模型生成方法，所述方法包括：

獲取樣本集，其中，所述樣本集中包括多個視頻樣本；

對所述樣本集中的各視頻樣本進行采樣，得到各視頻樣本的采樣幀，其中，所述采樣幀中包括多個視頻幀；

將所述采樣幀輸入到預設速度-準確度均衡卷積神經網絡的前端2D網絡中，通過所述預設速度-準確度均衡卷積神經網絡中的所述前端2D網絡、后端2D網絡和后端3D網絡進行模型訓練，得到視頻分類模型；

其中，所述后端2D網絡與所述后端3D網絡并聯、且均與所述前端2D網絡級聯；所述前端2D網絡為輕量級2D卷積神經網絡中的前n1個層，所述前n1個層中嵌有m1個注意力機制卷積神經網絡模塊，所述后端2D網絡為所述輕量級2D卷積神經網絡中的后n2個層，所述后n2個層中嵌有m2個注意力機制卷積神經網絡模塊，所述輕量級2D卷積神經網絡由N個層構成，n1+n2＝N，所述后端3D網絡為3D殘差卷積神經網絡，1≤m1＜n1，1≤m2＜n2。

可選地，作為一個實施例，所述輕量級2D卷積神經網絡為Mobilenet V2網絡。

可選地，作為一個實施例，所述Mobilenet V2網絡為低寬度乘數的Mobilenet V2網絡。

可選地，作為一個實施例，所述前端2D網絡為所述Mobilenet V2網絡中的前4個階段，所述后端2D網絡為所述Mobilenet V2網絡中的后M-4個階段，所述Mobilenet V2網絡被劃分為M個階段。

可選地，作為一個實施例，所述前端2D網絡的每個階段中嵌有1個注意力機制卷積神經網絡模塊，所述后端2D網絡的每個階段中嵌有1個注意力機制卷積神經網絡模塊。

可選地，作為一個實施例，所述注意力機制卷積神經網絡模塊為縮聚-激發SE模塊。

根據本發明的第二方面，公開了一種視頻分類方法，用于上述視頻分類模型進行視頻分類，所述方法包括：

獲取待分類視頻；

對所述待分類視頻進行采樣，得到所述待分類視頻的采樣幀；

將所述待分類視頻對應的采樣幀輸入所述視頻分類模型，根據所述視頻分類模型的輸出結果確定所述待分類視頻的視頻類別。