[發(fā)明專利]視頻處理方法和裝置

有效

• 申請?zhí)枺?/td>: 201910794759.4
• 申請日: 2019-08-27
• 公開（公告）號: CN110502665B
• 公開（公告）日: 2022-04-01
• 發(fā)明（設計）人: 李甫;何棟梁;周志超;孫昊
• 申請（專利權）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06F16/75
• 分類號: G06F16/75;G06F16/783;G06V10/764;G06V10/774;G06V10/82;G06K9/62;G06N3/04;H04N21/44
• 代理公司: 北京英賽嘉華知識產(chǎn)權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本申請實施例公開了視頻處理方法和裝置。該方法的一具體實施方式包括：獲取目標視頻，提取該目標視頻的圖像特征和音頻特征；將該圖像特征和該音頻特征輸入預先訓練的視頻分類模型，得到從該視頻分類模型輸出的該目標視頻的質(zhì)量類型，其中，該視頻分類模型用于將視頻分為不同的質(zhì)量類型。本申請實施例通過圖像特征和音頻特征共同參與視頻的分類，并利用視頻分類模型進行準確的質(zhì)量類型劃分，從而能夠準確地區(qū)分出不同質(zhì)量類型的視頻。

技術領域

本申請實施例涉及計算機技術領域，具體涉及互聯(lián)網(wǎng)技術領域，尤其涉及視頻處理方法和裝置。

背景技術

隨著視頻技術的日趨成熟，越來越多的視頻網(wǎng)站涌現(xiàn)出來。用戶可以向云端上傳自己的視頻，以分享自己的拍攝作品。相應地，其他用戶則可以觀看這些視頻。

在相關技術中，因為用戶拍攝和制作視頻的水平參差不齊，所以，在用戶上傳的視頻中可能存在一些質(zhì)量較差的視頻，比如，畫面模糊、晃動的視頻等。

發(fā)明內(nèi)容

本申請實施例提出了視頻處理方法和裝置。

第一方面，本申請實施例提供了一種視頻處理方法，包括：獲取目標視頻，提取目標視頻的圖像特征和音頻特征；將圖像特征和音頻特征輸入預先訓練的視頻分類模型，得到從視頻分類模型輸出的目標視頻的質(zhì)量類型，其中，視頻分類模型用于將視頻分為不同的質(zhì)量類型。

在一些實施例中，質(zhì)量類型中存在第一質(zhì)量類型和第二質(zhì)量類型，第一質(zhì)量類型指示的質(zhì)量優(yōu)于第二質(zhì)量類型指示的質(zhì)量，第一質(zhì)量類型中存在至少兩個內(nèi)容主題類型；得到從視頻分類模型輸出的目標視頻的質(zhì)量類型，包括：得到從視頻分類模型輸出的目標視頻的內(nèi)容主題類型或第二質(zhì)量類型，其中，視頻分類模型用于將視頻確定為第二質(zhì)量類型，或第一質(zhì)量類型中的至少兩個內(nèi)容主題類型之一。

在一些實施例中，視頻分類模型的訓練步驟包括：獲取多個視頻特征樣本以及各視頻特征樣本的質(zhì)量類型標注，其中，視頻特征樣本包括圖像特征和音頻特征，視頻特征樣本的質(zhì)量類型標注用于指示該視頻特征樣本對應的視頻屬于第一質(zhì)量類型中的至少兩個內(nèi)容主題類型之一或?qū)儆诘诙|(zhì)量類型；將視頻特征樣本輸入初始視頻分類模型，得到初始視頻分類模型輸出的質(zhì)量類型預測結果，基于質(zhì)量類型預測結果和質(zhì)量類型標注，對初始視頻分類模型進行訓練，得到視頻分類模型，其中，質(zhì)量類型預測結果是第一質(zhì)量類型中的至少兩個內(nèi)容主題類型之一或第二質(zhì)量類型。

在一些實施例中，第一質(zhì)量類型的質(zhì)量類型標注對應的視頻的播放量和/或用戶互動數(shù)達到預設閾值，第二質(zhì)量類型的質(zhì)量類型標注對應的視頻的播放量未達到第一閾值且用戶互動數(shù)未達到第二閾值。

在一些實施例中，視頻分類模型包括第一長短期記憶網(wǎng)絡和第二長短期記憶網(wǎng)絡、第一自注意力網(wǎng)絡和第二自注意力網(wǎng)絡、預設全連接層；以及將圖像特征和音頻特征輸入預先訓練的視頻分類模型，得到從視頻分類模型輸出的目標視頻的質(zhì)量類型，包括：將圖像特征輸入第一長短期記憶網(wǎng)絡，得到第一向量，以及將音頻特征輸入第二長短期記憶網(wǎng)絡，得到第二向量；將第一向量輸入第一自注意力網(wǎng)絡，得到第一處理結果，將第二向量輸入第二自注意力網(wǎng)絡，得到第二處理結果，以及對第一處理結果和第二處理結果進行拼接，得到連接結果；將連接結果輸入預設全連接層，得到目標視頻的質(zhì)量類型。

在一些實施例中，長短期記憶網(wǎng)絡為雙向長短期記憶網(wǎng)絡；以及將圖像特征輸入第一長短期記憶網(wǎng)絡，得到第一向量，包括：將圖像特征輸入第一雙向長短期記憶網(wǎng)絡，得到圖像特征的正向處理結果和反向處理結果，將圖像特征的正向處理結果和反向處理結果拼接為第一向量；以及將音頻特征輸入第二長短期記憶網(wǎng)絡，得到第二向量，包括：將音頻特征輸入第二雙向長短期記憶網(wǎng)絡，得到音頻特征的正向處理結果和反向處理結果，將音頻特征的正向處理結果和反向處理結果拼接為第二向量。