[發明專利]用于視頻分類的方法、裝置、設備、存儲介質和程序產品

在審

• 申請號: 202110089147.2
• 申請日: 2021-01-22
• 公開（公告）號: CN112749300A
• 公開（公告）日: 2021-05-04
• 發明（設計）人: 趙青青;聶衛國;陳敏杰;贠挺;李遠杭
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F16/75
• 分類號: G06F16/75;G06F16/783;G06F16/73;G06K9/00
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 趙林琳

本公開公開了用于視頻分類的方法、裝置、設備、存儲介質和程序產品，涉及計算機技術領域，尤其涉及深度學習領域。具體實現方案為：從待分類的視頻中包括的多模態數據獲取多項單模態數據；從多項單模態數據獲取具有相同維度的多個單模態特征表示；對多個單模態特征表示逐對進行特征交叉融合，以生成針對多模態數據的融合特征表示；以及基于融合特征表示和分類模型，確定視頻的第一分類結果。由此，能夠有效地將各個模態的特征進行融合，充分地利用各模態之間的互補性，從而達到整體提升視頻分類性能的效果。

技術領域

本公開涉及計算機技術領域，尤其涉及深度學習技術。

背景技術

近年來，深度學習方法使得視頻分類性能得到大幅提升。其中，采用多模態特征來聯合表征視頻已經成為主流算法框架，且此種框架已經成功落地應用。然而在實際應用中，由于不同模態的特征是通過單獨訓練該模態信息來進行提取的，所以不同模態的特征表示、分布及深層次語義信息差異很大，如何有效地對多模態特征進行融合，極大地影響了視頻分類的性能及模型的迭代。

發明內容

本公開提供了一種用于視頻分類的方法、裝置、設備、存儲介質和程序產品。

根據本公開的第一方面，提供了一種用于視頻分類的方法，包括：從待分類的視頻中包括的多模態數據獲取多項單模態數據；從所述多項單模態數據獲取具有相同維度的多個單模態特征表示；對所述多個單模態特征表示逐對進行特征交叉融合，以生成針對多模態數據的融合特征表示；以及基于所述融合特征表示和分類模型，確定所述視頻的第一分類結果。

根據本公開的第二方面，提供了一種用于視頻分類的裝置，包括：數據獲取模塊，用于從待分類的視頻中包括的多模態數據獲取與多種模態相關聯的多項單模態數據；特征獲取模塊，用于從所述多項單模態數據獲取具有相同維度的多個單模態特征表示；特征交叉融合模塊，用于對所述多個單模態特征表示逐對進行特征交叉融合，以生成針對多模態數據的融合特征表示；以及第一視頻分類模塊，用于基于所述融合特征表示和分類模型，確定所述視頻的第一分類結果。

根據本公開的第三方面，提供了一種電子設備，包括：至少一個處理器；以及與所述至少一個處理器通信連接的存儲器；其中，所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行根據第一方面所述的方法。

根據本公開的第四方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質，其中，所述計算機指令用于使所述計算機執行根據第一方面所述的方法。

根據本公開的第五方面，提供了一種計算機程序產品，包括計算機程序，所述計算機程序在被處理器執行時實現根據第一方面所述的方法。

由此，能夠有效地將各個模態的特征進行融合，充分地利用各模態之間的互補性，從而達到整體提升視頻分類性能的效果。

應當理解，本部分所描述的內容并非旨在標識本公開的實施例的關鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。

附圖說明

附圖用于更好地理解本方案，不構成對本公開的限定。其中：

圖1是根據本公開實施例的信息處理環境100的示意圖；

圖2是根據本公開實施例的用于視頻分類的方法200的示意圖；

圖3是根據本公開實施例的用于基于音頻特征表示和第一分類結果進行決策融合的方法300的示意圖；

圖4是根據本公開實施例的用于在特征標簽庫中獲取音頻特征表示的查詢標簽的方法400的示意圖；

圖5是根據本公開實施例的用于視頻分類的方法500的整體流程圖；

圖6是根據本公開實施例的用于視頻分類的裝置600的示意圖；以及