[發明專利]一種音視頻處理方法、裝置、設備及介質

在審

• 申請號: 201811293776.1
• 申請日: 2018-11-01
• 公開（公告）號: CN109257622A
• 公開（公告）日: 2019-01-22
• 發明（設計）人: 劉文奇;劉運;梁柱錦
• 申請（專利權）人: 廣州市百果園信息技術有限公司
• 主分類號: H04N21/234
• 分類號: H04N21/234;H04N21/239;H04N21/439;H04N21/44;H04N21/466
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發明公開了一種音視頻處理方法、裝置、設備及介質，涉及計算機技術領域，該方法包括：獲取視頻文件；從所述視頻文件分離出圖像幀信息和音頻信息；分別從所述圖像幀信息和所述音頻信息提取圖像特征信息和音頻特征信息；將所述圖像特征信息和音頻特征信息融合為視頻內容特征信息；依據所述視頻內容特征信息確定所述視頻文件對應的分類結果。本發明結合視頻中的音頻特征信息和視頻幀的圖像特征信息進行視頻分類，提升了視頻分類的準確率和召回率，從而減少視頻分類審核的人工成本。

技術領域

本發明涉及計算機技術領域，尤其涉及一種音視頻處理方法、裝置、設備及介質。

背景技術

隨著計算機技術的快速發展，深度學習技術在圖像理解的多個領域取得巨大進展，如深度學習技術應用到圖像中物體分類，物體檢測，物體分割等任務中。到目前為止，深度學習技術在圖像理解領域中的技術已經非常成熟了，并慢慢應用到視頻內容理解任務中。但是，與圖像內容理解相比，視頻內容理解還有一段很長的路要走。在視頻內容理解任務中，視頻分類是一個最基本的任務，視頻分類領域已成為很多研究者致力研究的熱點。

具體的，視頻分類主要是將視頻分類到不同的標簽，即將視頻分類到不同的視頻類別中，以基于視頻所屬的視頻類別設置視頻標簽。例如，短視頻類的應用每天會由用戶制作并上傳大量短視頻，這些短視頻內容多種多樣，不同的觀眾喜歡的短視頻類別不一樣。通過將短視頻分類成不同標簽的視頻，一方面方便用戶搜索自己感興趣的視頻類別，另一方面可以針對不同的用戶推薦其感興趣的視頻，從而可以提高觀眾在短視頻類應用的停留時長。目前，將用戶上傳的短視頻分類到不同的標簽的做法通常是先通過算法挑選，然后再由人工審核。但是，短視頻標簽分類的準確率受算法性能限制，如果算法性能比較差，將短視頻分類到不同標簽的準確度比較低，將會耗費大量的人力來進行審核工作，增加人力成本。

發明內容

有鑒于此，本發明實施例提供一種音視頻處理方法、裝置、設備及介質，結合視頻中的音頻特征信息和視頻幀的圖像特征信息進行視頻分類，以提升視頻分類的準確率和召回率，減少視頻分類審核的人工成本。

第一方面，本發明實施例提供了一種音視頻處理方法，包括：獲取視頻文件；從所述視頻文件分離出圖像幀信息和音頻信息；分別從所述圖像幀信息和所述音頻信息提取圖像特征信息和音頻特征信息；將所述圖像特征信息和音頻特征信息融合為視頻內容特征信息；依據所述視頻內容特征信息確定所述視頻文件對應的分類結果。

可選地，所述分別從所述圖像幀信息和所述音頻信息提取圖像特征信息和音頻特征信息，包括：通過預先訓練的圖像特征提取器，提取所述圖像幀信息對應的圖像特征信息；通過預先訓練的音頻特征提取器，提取所述音頻信息對應的音頻特征信息。

可選地，所述將所述圖像特征信息和音頻特征信息融合為視頻內容特征信息，包括：通過向量來表示圖像特征信息和音頻特征信息，且所述圖像特征信息的向量維度與所述音頻特征信息的向量維度相等；基于所述圖像特征信息中的圖像向量元素和所述音頻特征信息中的音頻向量元素，生成作為所述視頻內容特征信息的視頻內容特征矩陣。

可選地，還包括：從預設的輸入數據集中獲取視頻數據；從所述視頻數據提取出待訓練圖像幀信息和待訓練音頻信息；分別提取所述待訓練圖像幀信息的圖像特征信息和所述待訓練音頻信息的音頻特征信息；將所述待訓練圖像幀信息的圖像特征信息作為訓練的監督信息，并采用和所述待訓練音頻信息的音頻特征信息進行訓練，得到所述音頻特征提取器。

可選地，還包括：獲取待訓練圖像幀信息；依據所述待訓練圖像幀信息進行訓練，得到視頻分類網絡；基于所述視頻分類網絡中的非輸出層，生成所述圖像特征提取器。

可選地，所述依據所述視頻內容特征信息確定所述視頻文件對應的分類結果，包括：依據所述視頻內容特征信息生成特征圖信息；依據所述特征圖信息和所述視頻內容特征信息，生成目標特征信息；依據所述目標特征信息進行分類處理，得到所述分類結果。