[發明專利]視頻分類方法、模型訓練方法、裝置及設備

有效

• 申請號: 201911024848.7
• 申請日: 2019-10-25
• 公開（公告）號: CN110781818B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 尹康
• 申請（專利權）人: OPPO廣東移動通信有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/46;G06V10/764;G06V10/82;G06N3/045;G06N3/0464;G06N3/08
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 邢少真

1.一種視頻分類方法，其特征在于，所述方法包括：

獲取視頻分類模型，所述視頻分類模型包括特征提取網絡和每種標簽的最大特征向量，所述最大特征向量是將幀特征向量矩陣進行主成分分析，計算得到所述主成分分析的協方差矩陣中的最大特征向量，所述幀特征向量矩陣是屬于同一種標簽的視頻組中的視頻幀的特征向量，所述最大特征向量用于指示屬于同一種標簽的視頻組的核心特征，所述最大特征向量用于指示所述視頻中的視頻幀是否屬于所述最大特征向量對應的標簽，所述幀特征向量矩陣是根據n個視頻對應的幀特征向量組得到的，對所述同一種標簽的視頻組中包括的所述n個視頻的視頻幀進行特征提取，得到每個視頻對應的幀特征向量組；

根據所述特征提取網絡對所述視頻中的視頻幀進行特征提取，得到所述視頻幀的幀特征向量；

對于每種標簽中的第i種標簽，根據第i種標簽的最大特征向量對視頻中的視頻幀逐個進行預測，計算所述視頻幀的幀特征向量和所述第i種標簽的最大特征向量的乘積，i為不大于標簽總數量的整數；

當所述乘積大于0時，將所述第i種標簽確定為所述視頻幀所屬的目標標簽，所述目標標簽是所述標簽中的一個或多個；

對于每種所述目標標簽，根據所述視頻中屬于所述目標標簽的連續多個視頻幀，標記出所述目標標簽在所述視頻中的開始位置和結束位置。

2.根據權利要求1所述的方法，其特征在于，所述特征提取網絡包括：幀特征提取層和特征增強層；

所述根據所述特征提取網絡對所述視頻中的視頻幀進行特征提取，得到所述視頻幀的幀特征向量，包括：

將所述視頻中的視頻幀輸入至所述幀特征提取層進行特征提取，得到所述視頻幀的二維卷積特征；

將所述視頻幀的二維卷積特征輸入至所述特征增強層進行特征增強，得到所述視頻幀的幀特征向量。

3.根據權利要求2所述的方法，其特征在于，

所述幀特征提取層為卷積神經網絡InceptionNet或移動端輕量級網絡MobileNet；

所述特征增強層為局部聚合網絡NetVLAD層。

4.一種模型訓練方法，其特征在于，所述方法包括：

采用視頻數據集對分類模型進行訓練，得到訓練后的分類模型，所述訓練后的分類模型包括：幀特征提取層、特征增強層和分類層；

根據所述幀特征提取層和所述特征增強層，得到特征提取網絡；

根據所述特征提取網絡對屬于同一種標簽的視頻組中n個視頻的視頻幀進行特征提取，得到每個視頻對應的幀特征向量組，第i個視頻對應的幀特征向量組中對應有k_i個幀特征向量；

根據所述n個視頻對應的幀特征向量組，得到所述視頻組的幀特征向量矩陣；

將所述視頻組的幀特征向量矩陣進行主成分分析，計算得到所述主成分分析的協方差矩陣中的最大特征向量，作為所述標簽的最大特征向量，所述標簽的最大特征向量用于預測單個視頻幀的幀特征向量是否屬于所述標簽，所述最大特征向量用于指示屬于同一種標簽的視頻組的核心特征，所述最大特征向量用于指示所述視頻中的視頻幀是否屬于所述最大特征向量對應的標簽；

根據所述特征提取網絡和每種標簽的最大特征向量，得到視頻分類模型，第i種標簽的最大特征向量用于對視頻中的視頻幀逐個進行預測，i為不大于標簽總數量的整數。

5.根據權利要求4所述的方法，其特征在于，所述幀特征提取層為卷積神經網絡InceptionNet或移動端輕量級網絡MobileNet；

所述特征增強層為局部聚合網絡NetVLAD層。