[發(fā)明專利]視頻分類方法、裝置、設備及存儲介質

在審

• 申請?zhí)枺?/td>: 202210452355.9
• 申請日: 2022-04-27
• 公開（公告）號: CN114817633A
• 公開（公告）日: 2022-07-29
• 發(fā)明（設計）人: 徐鳴謙;王曉宇;顧明;饒明佺;劉倍余
• 申請（專利權）人: 咪咕文化科技有限公司;中國移動通信集團有限公司
• 主分類號: G06F16/75
• 分類號: G06F16/75;G06V10/40;G06K9/62;G06V10/764
• 代理公司: 深圳市世紀恒程知識產(chǎn)權代理事務所 44287
• 代理人: 陳小娟

1.一種視頻分類方法，其特征在于，所述方法包括：

獲取待分類視頻；

對所述待分類視頻進行特征提取和特征融合，得到多模態(tài)特征；

對所述多模態(tài)特征進行標簽分類，得到一級分類標簽和二級分類標簽；

將所述一級分類標簽對應的分支標簽與所述二級分類標簽進行融合，得到融合后的分類特征；

根據(jù)所述融合后的分類特征，進行與所述二級分類標簽對應的類別預測，得到視頻分類結果。

2.如權利要求1所述的視頻分類方法，其特征在于，所述待分類視頻包括文本數(shù)據(jù)和視頻數(shù)據(jù)；

所述對所述待分類視頻進行特征提取和特征融合，得到多模態(tài)特征的步驟包括：

根據(jù)所述文本數(shù)據(jù)和所述視頻數(shù)據(jù)，進行文本模態(tài)特征提取，獲得文本特征；

根據(jù)所述視頻數(shù)據(jù)，進行視頻模態(tài)特征提取，獲得視頻特征；

根據(jù)所述文本特征和所述視頻特征，進行特征融合，得到多模態(tài)特征。

3.如權利要求2所述的視頻分類方法，其特征在于，所述根據(jù)所述文本數(shù)據(jù)和所述視頻數(shù)據(jù)，進行文本模態(tài)特征提取，獲得文本特征的步驟包括：

對所述視頻數(shù)據(jù)進行文本識別，獲得第一文本；

根據(jù)所述文本數(shù)據(jù)，確定第二文本；

對所述第一文本和所述第二文本進行文本模態(tài)特征提取，獲得文本特征。

4.如權利要求3所述的視頻分類方法，其特征在于，所述對所述視頻數(shù)據(jù)進行文本識別，獲得第一文本的步驟包括：

將所述視頻數(shù)據(jù)輸入多級聯(lián)目標檢測模型，得到文本目標框；所述多級聯(lián)目標檢測模型基于樣本生成數(shù)據(jù)對區(qū)域生成網(wǎng)絡進行訓練獲得；

根據(jù)所述文本目標框，對所述視頻數(shù)據(jù)進行裁剪，得到文本圖像；

將所述文本圖像輸入文本識別模型，得到第一文本；所述文本識別模型基于雙向長短期記憶神經(jīng)網(wǎng)絡訓練獲得。

5.如權利要求2所述的視頻分類方法，其特征在于，所述根據(jù)所述文本特征和所述視頻特征，進行特征融合，得到多模態(tài)特征的步驟包括：

利用聚類算法對所述視頻特征進行降維處理，得到降維后的視頻特征；

對所述文本特征和所述降維后的視頻特征進行特征融合，得到融合特征；

確定所述融合特征的權重值；

根據(jù)所述融合特征和所述融合特征的權重值，得到多模態(tài)特征。

6.如權利要求1所述的視頻分類方法，其特征在于，所述對所述多模態(tài)特征進行標簽分類，得到一級分類標簽和二級分類標簽的步驟包括：

在第一分類通道中，利用第一分類模型對所述多模態(tài)特征進行標簽分類，得到一級分類標簽；

在第二分類通道中，利用第二分類模型對所述多模態(tài)特征進行標簽分類，得到二級分類標簽；所述二級分類標簽為所述一級分類標簽的子領域。