[發明專利]視頻處理方法和裝置

有效

• 申請號: 201910794759.4
• 申請日: 2019-08-27
• 公開（公告）號: CN110502665B
• 公開（公告）日: 2022-04-01
• 發明（設計）人: 李甫;何棟梁;周志超;孫昊
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F16/75
• 分類號: G06F16/75;G06F16/783;G06V10/764;G06V10/774;G06V10/82;G06K9/62;G06N3/04;H04N21/44
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種視頻處理方法，所述方法包括：

獲取目標視頻，提取所述目標視頻的圖像特征和音頻特征；

將所述圖像特征和所述音頻特征輸入預先訓練的視頻分類模型，得到從所述視頻分類模型輸出的所述目標視頻的質量類型，其中，所述視頻分類模型用于將視頻分為不同的質量類型，所述視頻分類模型包括第一長短期記憶網絡和第二長短期記憶網絡、第一自注意力網絡和第二自注意力網絡、預設全連接層；

其中，所述將所述圖像特征和所述音頻特征輸入預先訓練的視頻分類模型，得到從所述視頻分類模型輸出的所述目標視頻的質量類型，包括：

將所述圖像特征輸入所述第一長短期記憶網絡，得到第一向量，以及將所述音頻特征輸入所述第二長短期記憶網絡，得到第二向量；

將所述第一向量輸入所述第一自注意力網絡，得到第一處理結果，將所述第二向量輸入所述第二自注意力網絡，得到第二處理結果，以及對所述第一處理結果和所述第二處理結果進行拼接，得到連接結果；

將所述連接結果輸入所述預設全連接層，得到所述目標視頻的質量類型。

2.根據權利要求1所述的方法，其中，所述質量類型中存在第一質量類型和第二質量類型，第一質量類型指示的質量優于第二質量類型指示的質量，所述第一質量類型中存在至少兩個內容主題類型；以及

所述得到從所述視頻分類模型輸出的所述目標視頻的質量類型，包括：

得到從所述視頻分類模型輸出的所述目標視頻的內容主題類型或第二質量類型，其中，所述視頻分類模型用于將視頻確定為所述第二質量類型，或所述第一質量類型中的至少兩個內容主題類型之一。

3.根據權利要求2所述的方法，其中，所述視頻分類模型的訓練步驟包括：

獲取多個視頻特征樣本以及各視頻特征樣本的質量類型標注，其中，所述視頻特征樣本包括圖像特征和音頻特征，所述視頻特征樣本的質量類型標注用于指示該視頻特征樣本對應的視頻屬于所述第一質量類型中的至少兩個內容主題類型之一或屬于第二質量類型；

將視頻特征樣本輸入初始視頻分類模型，得到所述初始視頻分類模型輸出的質量類型預測結果，基于所述質量類型預測結果和所述質量類型標注，對所述初始視頻分類模型進行訓練，得到所述視頻分類模型，其中，所述質量類型預測結果是所述第一質量類型中的至少兩個內容主題類型之一或所述第二質量類型。

4.根據權利要求3所述的方法，其中，

所述第一質量類型的質量類型標注對應的視頻的播放量和/或用戶互動數達到預設閾值，所述第二質量類型的質量類型標注對應的視頻的播放量未達到第一閾值且用戶互動數未達到第二閾值。

5.根據權利要求1所述的方法，其中，所述長短期記憶網絡為雙向長短期記憶網絡；以及

所述將所述圖像特征輸入所述第一長短期記憶網絡，得到第一向量，包括：

將所述圖像特征輸入第一雙向長短期記憶網絡，得到所述圖像特征的正向處理結果和反向處理結果，將所述圖像特征的正向處理結果和反向處理結果拼接為所述第一向量；以及

所述將所述音頻特征輸入所述第二長短期記憶網絡，得到第二向量，包括：

將所述音頻特征輸入第二雙向長短期記憶網絡，得到所述音頻特征的正向處理結果和反向處理結果，將所述音頻特征的正向處理結果和反向處理結果拼接為所述第二向量。

6.根據權利要求2所述的方法，其中，所述提取所述目標視頻的圖像特征和音頻特征，包括：

將所述目標視頻的圖像輸入預先訓練的第一殘差網絡，得到從所述第一殘差網絡輸出的所述圖像特征，其中，所述第一殘差網絡用于對圖像劃分質量類型；

將所述目標視頻的音頻輸入預先訓練的第二殘差網絡，得到從所述第二殘差網絡輸出的所述音頻特征，其中，所述第二殘差網絡用于對音頻劃分質量類型。