[發明專利]視頻分類方法及裝置、計算機可讀存儲介質與電子設備

在審

• 申請號: 202011341447.7
• 申請日: 2020-11-25
• 公開（公告）號: CN112364810A
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 羅喬雨
• 申請（專利權）人: 深圳市歡太科技有限公司;OPPO廣東移動通信有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 深圳市隆天聯鼎知識產權代理有限公司 44232
• 代理人: 劉抗美

本公開提供一種視頻分類方法、視頻分類裝置、計算機可讀存儲介質與電子設備，涉及計算機視覺技術領域。該視頻分類方法包括：獲取待分類視頻，從所述待分類視頻中提取多種模態信息，所述模態信息包括至少一個第一模態信息；提取各所述第一模態信息的特征信息，以及所述模態信息中除各所述第一模態信息之外的第二模態信息的特征信息，并修正各所述第一模態信息的所述特征信息；將各所述第一模態信息修正后的所述特征信息及所述第二模態信息的特征信息進行特征融合，并輸入至預先訓練的視頻分類網絡，得到所述待分類視頻的分類結果。本公開可以對同一模態信息進行多維度的利用，對視頻數據的利用更加充分，進一步地提高了視頻分類的準確性。

技術領域

本公開涉及計算機視覺技術領域，尤其涉及一種視頻分類方法、視頻分類裝置、計算機可讀存儲介質與電子設備。

背景技術

作為計算機視覺最基本的任務之一，視頻分類可以通過分析及理解視頻信息對視頻進行分類，從而可以實現基于視頻的搜索、視頻推薦等，同時視頻分類也是視頻標簽、視頻檢索、視頻標題生成等多種其他視頻技術重要基礎。因此，對于視頻分類方法的研究具有重要意義。

當前主流視頻分類方法一般采用融合多種模態特征的方式，即將多種模態特征拼接在一起作為視頻分類的依據。然而，這種拼接方式沒有充分考慮各項特征所包含的信息量，在視頻分類的過程中沒有充分利用視頻中包含的信息，也沒有充分考慮不同視頻的同一特征的區別，從而降低了視頻分類的準確性。

發明內容

本公開提供了一種視頻分類方法、視頻分類裝置、計算機可讀存儲介質與電子設備，進而至少在一定程度上提高視頻分類的準確性。

本公開的其他特性和優點將通過下面的詳細描述變得顯然，或部分地通過本公開的實踐而習得。

根據本公開的第一方面，提供一種視頻分類方法，包括：

獲取待分類視頻，從所述待分類視頻中提取多種模態信息，所述模態信息包括至少一個第一模態信息；

提取各所述第一模態信息的特征信息，以及所述模態信息中除各所述第一模態信息之外的第二模態信息的特征信息，并修正各所述第一模態信息的所述特征信息；

將各所述第一模態信息修正后的所述特征信息及所述第二模態信息的特征信息進行特征融合，并輸入至預先訓練的視頻分類網絡，得到所述待分類視頻的分類結果。

根據本公開的第二方面，提供一種視頻分類裝置，包括：

模態信息提取模塊，用于獲取待分類視頻，從所述待分類視頻中提取多種模態信息，所述模態信息包括至少一個第一模態信息；

特征提取及修正模塊，用于提取各所述第一模態信息的特征信息，以及所述模態信息中除各所述第一模態信息之外的第二模態信息的特征信息，并修正各所述第一模態信息的所述特征信息；

視頻分類模塊，用于將各所述第一模態信息修正后的所述特征信息及所述第二模態信息的特征信息進行特征融合，并輸入至預先訓練的視頻分類網絡，得到所述待分類視頻的分類結果。

根據本公開的第三方面，提供一種計算機可讀存儲介質，其上存儲有計算機程序，所述計算機程序被處理器執行時實現上述方法。

根據本公開的第四方面，提供一種電子設備，包括：處理器；以及存儲器，用于存儲所述處理器的可執行指令；其中，所述處理器配置為經由執行所述可執行指令來執行上述方法。

本公開的技術方案具有以下有益效果：