[發明專利]一種視頻處理方法及裝置

在審

• 申請號: 202010108662.6
• 申請日: 2020-02-21
• 公開（公告）號: CN111343496A
• 公開（公告）日: 2020-06-26
• 發明（設計）人: 張寧靜
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: H04N21/439
• 分類號: H04N21/439;H04N21/44;H04N21/4402;H04N21/845;G10L15/22;G10L15/26;G06F16/783
• 代理公司: 北京中知法苑知識產權代理有限公司 11226
• 代理人: 李明;趙吉陽

1.一種視頻處理方法，其特征在于，包括：

提取待處理視頻的待處理信息，所述待處理信息包括所述待處理視頻的音頻信息和/或圖片信息；

基于所述待處理信息，確定所述待處理視頻中的關鍵視頻幀，并識別所述待處理信息對應的目標文本信息；

基于所述關鍵視頻幀、以及所述目標文本信息，生成所述待處理視頻對應的圖文圖片。

2.根據權利要求1所述的方法，其特征在于，當所述待處理信息包括所述音頻信息時，所述識別所述待處理信息對應的目標文本信息，包括：

基于語音識別技術，確定所述音頻信息對應的第一文本信息中各個文本單元的置信度；

基于所述各個文本單元的置信度，對所述第一文本信息中的各個文本單元進行篩選，得到所述目標文本信息。

3.根據權利要求1所述的方法，其特征在于，當所述待處理信息包括所述圖片信息時，所述識別所述待處理信息對應的目標文本信息，包括：

基于光學字符識別技術，確定所述圖片信息對應的第二文本信息中各個文本單元的置信度；

基于所述各個文本單元的置信度，對所述第二文本信息中的各個文本單元進行篩選，得到所述目標文本信息。

4.根據權利要求1所述的方法，其特征在于，若所述待處理信息包括音頻信息和圖片信息，所述識別所述待處理信息對應的目標文本信息，包括：

針對任一關鍵視頻幀，若該關鍵視頻幀包括所述音頻信息和所述圖片信息，則將所述關鍵視頻幀中的音頻信息對應的識別出的第一文本信息和該關鍵視頻幀中的圖片信息對應的識別出的第二文本信息進行相互驗證，確定該關鍵視頻幀對應的目標文本信息；或者，

若該關鍵視頻幀包括所述音頻信息和所述圖片信息中的一種，則將該關鍵視頻幀中所包括的所述音頻信息或所述圖片信息對應的識別出的文本信息，作為該關鍵視頻幀對應的目標文本信息。

5.根據權利要求1所述的方法，其特征在于，所述基于所述待處理信息，確定所述待處理視頻中的關鍵視頻幀，包括：

將所述待處理視頻中包括至少一種所述待處理信息的視頻幀確定為所述關鍵視頻幀。

6.根據權利要求1所述的方法，其特征在于，所述基于所述關鍵視頻幀、以及所述目標文本信息，生成所述待處理視頻對應的圖文圖片，包括：

確定不同的所述關鍵視頻幀之間的相似度；

基于不同關鍵視頻幀之間的所述相似度和各個所述關鍵視頻幀的清晰度對所述關鍵視頻幀進行篩選，得到選定視頻幀；

基于所述選定視頻幀、以及所述目標文本信息，生成所述待處理視頻對應的圖文圖片。

7.根據權利要求6所述的方法，其特征在于，所述基于不同關鍵視頻幀之間的所述相似度和各個所述關鍵視頻幀的清晰度對所述關鍵視頻幀進行篩選，得到選定視頻幀，包括：

針對相互之間的所述相似度大于預設相似度閾值的多個關鍵視頻幀，將所述多個關鍵視頻幀中，對應的所述清晰度最大的關鍵視頻幀確定為所述選定視頻幀。

8.根據權利要求1～7任一所述的方法，其特征在于，所述基于所述關鍵視頻幀、以及所述目標文本信息，生成所述待處理視頻對應的圖文圖片，包括：

根據所述關鍵視頻幀在所述待處理視頻中的播放時間，以及目標文本信息與對應的關鍵視頻幀之間的相對位置信息，將各個所述關鍵視頻幀進行拼接，生成所述圖文圖片。

9.根據權利要求1所述的方法，其特征在于，所述方法還包括：

檢測到針對視頻播放頁面中目標按鈕的觸發操作后，獲取所述待處理視頻對應的圖文圖片，其中，所述視頻播放頁面用于播放所述待處理視頻；

在從所述視頻播放頁面跳轉后的目標頁面中展示生成的所述圖文圖片。