[發(fā)明專利]視頻處理方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202011531808.4
• 申請(qǐng)日: 2020-12-22
• 公開（公告）號(hào): CN112738557A
• 公開（公告）日: 2021-04-30
• 發(fā)明（設(shè)計(jì)）人: 徐寶函;李佩易
• 申請(qǐng)（專利權(quán)）人: 上海嗶哩嗶哩科技有限公司
• 主分類號(hào): H04N21/234
• 分類號(hào): H04N21/234;H04N21/233;H04N21/845;G06K9/00;G06K9/62;G06F16/783;G06F16/738;G10L25/24;G10L25/03;G10L25/30
• 代理公司: 北京智信禾專利代理有限公司 11637
• 代理人: 李曉慶

1.一種視頻處理方法，其特征在于，包括：

將接收的初始視頻切分為至少一個(gè)視頻片段；

基于特征提取模型獲得所述至少一個(gè)視頻片段中每個(gè)視頻片段對(duì)應(yīng)的第一模態(tài)特征、第二模態(tài)特征以及第三模態(tài)特征；

將所述每個(gè)視頻片段對(duì)應(yīng)的第一模態(tài)特征、第二模態(tài)特征以及第三模態(tài)特征輸入到識(shí)別模型，獲得所述每個(gè)視頻片段對(duì)應(yīng)的視頻得分，并基于所述視頻得分確定所述初始視頻中的目標(biāo)視頻片段。

2.根據(jù)權(quán)利要求1所述的視頻處理方法，其特征在于，所述基于特征提取模型獲得所述至少一個(gè)視頻片段中每個(gè)視頻片段對(duì)應(yīng)的第一模態(tài)特征、第二模態(tài)特征以及第三模態(tài)特征，包括：

基于第一特征提取模型獲得所述至少一個(gè)視頻片段中每個(gè)視頻片段對(duì)應(yīng)的音頻特征；

基于第二特征提取模型獲得所述至少一個(gè)視頻片段中每個(gè)視頻片段對(duì)應(yīng)的圖像特征；

基于所述第三特征提取模型獲得所述至少一個(gè)視頻片段中每個(gè)視頻片段對(duì)應(yīng)的結(jié)構(gòu)化特征。

3.根據(jù)權(quán)利要求1所述的視頻處理方法，其特征在于，所述基于第一特征提取模型獲得所述至少一個(gè)視頻片段中每個(gè)視頻片段對(duì)應(yīng)的音頻特征，包括：

提取所述至少一個(gè)視頻片段中每個(gè)視頻片段中的音頻信息；

將所述每個(gè)視頻片段中的音頻信息輸入第一特征提取模型，獲得所述每個(gè)視頻片段對(duì)應(yīng)的音頻特征。

4.根據(jù)權(quán)利要求2或3所述的視頻處理方法，其特征在于，所述基于第二特征提取模型獲得所述至少一個(gè)視頻片段中每個(gè)視頻片段對(duì)應(yīng)的圖像特征，包括：

提取所述至少一個(gè)視頻片段中每個(gè)視頻片段的圖像信息；

將所述圖像信息輸入第二特征提取模型，獲得所述每個(gè)視頻片段對(duì)應(yīng)的圖像特征。

5.根據(jù)權(quán)利要求2或4所述的視頻處理方法，其特征在于，所述基于所述第三特征提取模型獲得所述至少一個(gè)視頻片段中每個(gè)視頻片段對(duì)應(yīng)的結(jié)構(gòu)化特征，包括：

提取所述至少一個(gè)視頻片段中每個(gè)視頻片段的結(jié)構(gòu)化信息；

將所述結(jié)構(gòu)化信息輸入第三特征提取模型，獲得所述每個(gè)視頻片段對(duì)應(yīng)的結(jié)構(gòu)化特征。

6.根據(jù)權(quán)利要求4所述的視頻處理方法，其特征在于，所述圖像信息包括視頻畫面和關(guān)鍵區(qū)域畫面，所述第二特征提取模型包括第一圖像特征提取模型和第二圖像特征提取模型；

相應(yīng)的，所述將所述圖像信息輸入第二特征提取模型，獲得所述每個(gè)視頻片段對(duì)應(yīng)的圖像特征，包括：

將所述視頻畫面輸入第一圖像特征提取模型，獲得所述每個(gè)視頻片段對(duì)應(yīng)的視頻畫面特征；

將所述關(guān)鍵區(qū)域畫面輸入第二圖像特征提取模型，獲得所述每個(gè)視頻片段對(duì)應(yīng)的關(guān)鍵區(qū)域畫面特征；

將所述每個(gè)視頻片段對(duì)應(yīng)的視頻畫面特征和關(guān)鍵區(qū)域畫面特征融合，獲得所述每個(gè)視頻片段對(duì)應(yīng)的圖像特征。

7.根據(jù)權(quán)利要求4所述的視頻處理方法，其特征在于，所述圖像信息包括視頻畫面、關(guān)鍵區(qū)域畫面和主播圖像，所述第二特征提取模型包括第一圖像特征提取模型、第二圖像特征提取模型和第三圖像特征提取模型；

相應(yīng)的，所述將所述圖像信息輸入第二特征提取模型，獲得所述每個(gè)視頻片段對(duì)應(yīng)的圖像特征，包括：

將所述視頻畫面輸入第一圖像特征提取模型，獲得所述每個(gè)視頻片段對(duì)應(yīng)的視頻畫面特征；

將所述關(guān)鍵區(qū)域畫面輸入第二圖像特征提取模型，獲得所述每個(gè)視頻片段對(duì)應(yīng)的關(guān)鍵區(qū)域畫面特征；

將所述主播圖像輸入第三圖像特征提取模型，獲得所述每個(gè)視頻片段對(duì)應(yīng)的主播圖像特征；

將所述每個(gè)視頻片段對(duì)應(yīng)的視頻畫面特征、關(guān)鍵區(qū)域畫面特征和主播圖像特征進(jìn)行融合，獲得所述每個(gè)視頻片段對(duì)應(yīng)的圖像特征。