[發明專利]視頻分類方法、裝置、設備及存儲介質

在審

• 申請號: 202210452355.9
• 申請日: 2022-04-27
• 公開（公告）號: CN114817633A
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 徐鳴謙;王曉宇;顧明;饒明佺;劉倍余
• 申請（專利權）人: 咪咕文化科技有限公司;中國移動通信集團有限公司
• 主分類號: G06F16/75
• 分類號: G06F16/75;G06V10/40;G06K9/62;G06V10/764
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 陳小娟

本發明公開了一種視頻分類方法、裝置、設備及存儲介質，涉及視頻處理技術領域，方法包括獲取待分類視頻；對待分類視頻進行特征提取和特征融合，得到多模態特征；對多模態特征進行標簽分類，得到一級分類標簽和二級分類標簽；將一級分類標簽對應的分支標簽與二級分類標簽進行融合，得到融合后的分類特征；根據融合后的分類特征，進行與二級分類標簽對應的類別預測，得到視頻分類結果。本發明解決了現有技術中視頻分類準確度較低的問題，實現了提高視頻分類準確度的效果。

技術領域

本發明涉及視頻處理技術領域，尤其涉及一種視頻分類方法、裝置、設備及存儲介質。

背景技術

如今，短視頻行業快速發展，其中的難點之一是為每個短視頻快速、準確地打上標簽，好的短視頻標簽，對于用戶的精準推薦具有非常大的幫助。基于AI(ArtificialIntelligence，人工智能)的自動打標簽技術，是目前短視頻產品中比較常用的方法，通常是對短視頻進行分類后再打上對應類別的標簽，實現自動打標簽。但由于短視頻的時間短、圖像信息少、視頻質量參差不齊等特點，想要更具體、更復雜的分類層次，以打上更精準的標簽尚有較大難度。現有技術的短視頻分類方法，存在無法利用多層標簽之間的依賴關系和特征聯系，導致短視頻的分類結果可能存在誤差，精確度較低的問題。

發明內容

本發明的主要目的在于：提供一種視頻分類方法、裝置、設備及存儲介質，旨在解決現有技術中的視頻分類方法存在準確度較低的技術問題。

為實現上述目的，本發明采用如下技術方案：

第一方面，本發明提供了一種視頻分類方法，所述方法包括：

獲取待分類視頻；

對所述待分類視頻進行特征提取和特征融合，得到多模態特征；

對所述多模態特征進行標簽分類，得到一級分類標簽和二級分類標簽；

將所述一級分類標簽對應的分支標簽與所述二級分類標簽進行融合，得到融合后的分類特征；

根據所述融合后的分類特征，進行與所述二級分類標簽對應的類別預測，得到視頻分類結果。

可選地，上述視頻分類方法中，所述待分類視頻包括文本數據和視頻數據；

所述對所述待分類視頻進行特征提取和特征融合，得到多模態特征的步驟包括：

根據所述文本數據和所述視頻數據，進行文本模態特征提取，獲得文本特征；

根據所述視頻數據，進行視頻模態特征提取，獲得視頻特征；

根據所述文本特征和所述視頻特征，進行特征融合，得到多模態特征。

可選地，上述視頻分類方法中，所述根據所述文本數據和所述視頻數據，進行文本模態特征提取，獲得文本特征的步驟包括：

對所述視頻數據進行文本識別，獲得第一文本；

根據所述文本數據，確定第二文本；

對所述第一文本和所述第二文本進行文本模態特征提取，獲得文本特征。

可選地，上述視頻分類方法中，所述對所述視頻數據進行文本識別，獲得第一文本的步驟包括：

將所述視頻數據輸入多級聯目標檢測模型，得到文本目標框；所述多級聯目標檢測模型基于樣本生成數據對區域生成網絡進行訓練獲得；

根據所述文本目標框，對所述視頻數據進行裁剪，得到文本圖像；

將所述文本圖像輸入文本識別模型，得到第一文本；所述文本識別模型基于雙向長短期記憶神經網絡訓練獲得。