[發明專利]一種音視頻處理方法、裝置、設備及介質

在審

• 申請號: 201811293776.1
• 申請日: 2018-11-01
• 公開（公告）號: CN109257622A
• 公開（公告）日: 2019-01-22
• 發明（設計）人: 劉文奇;劉運;梁柱錦
• 申請（專利權）人: 廣州市百果園信息技術有限公司
• 主分類號: H04N21/234
• 分類號: H04N21/234;H04N21/239;H04N21/439;H04N21/44;H04N21/466
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種音視頻處理方法，其特征在于，包括：

獲取視頻文件；

從所述視頻文件分離出圖像幀信息和音頻信息；

分別從所述圖像幀信息和所述音頻信息提取圖像特征信息和音頻特征信息；

將所述圖像特征信息和音頻特征信息融合為視頻內容特征信息；

依據所述視頻內容特征信息確定所述視頻文件對應的分類結果。

2.根據權利要求1所述的方法，其特征在于，所述分別從所述圖像幀信息和所述音頻信息提取圖像特征信息和音頻特征信息，包括：

通過預先訓練的圖像特征提取器，提取所述圖像幀信息對應的圖像特征信息；

通過預先訓練的音頻特征提取器，提取所述音頻信息對應的音頻特征信息。

3.根據權利要求1所述的方法，其特征在于，所述將所述圖像特征信息和音頻特征信息融合為視頻內容特征信息，包括：

通過向量來表示圖像特征信息和音頻特征信息，且所述圖像特征信息的向量維度與所述音頻特征信息的向量維度相等；

基于所述圖像特征信息中的圖像向量元素和所述音頻特征信息中的音頻向量元素，生成作為所述視頻內容特征信息的視頻內容特征矩陣。

4.根據權利要求2所述的方法，其特征在于，還包括：

從預設的輸入數據集中獲取視頻數據；

從所述視頻數據提取出待訓練圖像幀信息和待訓練音頻信息；

分別提取所述待訓練圖像幀信息的圖像特征信息和所述待訓練音頻信息的音頻特征信息；

將所述待訓練圖像幀信息的圖像特征信息作為訓練的監督信息，并采用所述待訓練音頻信息的音頻特征信息進行訓練，得到所述音頻特征提取器。

5.根據權利要求2所述的方法，其特征在于，還包括：

獲取待訓練圖像幀信息；

依據所述待訓練圖像幀信息進行訓練，得到視頻分類網絡；

基于所述視頻分類網絡中的非輸出層，生成所述圖像特征提取器。

6.根據權利要求1至5任一所述的方法，其特征在于，所述依據所述視頻內容特征信息確定所述視頻文件對應的分類結果，包括：

依據所述視頻內容特征信息生成特征圖信息；

依據所述特征圖信息和所述視頻內容特征信息，生成目標特征信息；

依據所述目標特征信息進行分類處理，得到所述分類結果。

7.根據權利要求6所述的方法，所述依據所述視頻內容特征信息生成特征圖信息，包括：

將所述視頻內容特征信息輸入到預設的注意力機制模塊中進行注意力特征提取；

基于所述注意力機制模塊輸出的注意力特征信息和所述視頻內容特征信息，生成所述特征圖信息。

8.根據權利要求6所述的方法，其特征在于，所述依據所述特征圖信息和所述視頻內容特征信息，生成目標特征信息，包括：

通過矩陣記錄所述特征圖信息和所述視頻內容特征信息，且所述特征圖信息的矩陣維度和所述視頻內容特征信息的矩陣維度相等；

基于所述特征圖信息中的矩陣元素與所述視頻內容特征信息中的矩陣元素，生成作為所述目標特征信息的目標特征矩陣。

9.根據權利要求6所述的方法，其特征在于，所述確定依據所述目標特征信息進行分類處理，得到所述分類結果，包括：

將所述視頻內容特征信息輸入預設的分類網絡進行分類處理；

將所述分類網絡輸出的類別分數作為所述分類結果，其中，所述類別分數用于確定所述視頻文件所屬的視頻類別。

10.根據權利要求7所述的方法，其特征在于，所述方法還包括：

獲取待訓練視頻內容特征信息；

基于所述待訓練視頻內容特征信息和預設的權重信息進行訓練，得到網絡層；

依據所述網絡層生成所述注意力機制模塊。