[發明專利]講解同步的視頻高光處理方法、裝置、計算機設備及介質

有效

• 申請號: 202011591754.0
• 申請日: 2020-12-29
• 公開（公告）號: CN112289321B
• 公開（公告）日: 2021-03-30
• 發明（設計）人: 許丹
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G10L15/26
• 分類號: G10L15/26
• 代理公司: 深圳市賽恩倍吉知識產權代理有限公司 44334
• 代理人: 楊毅玲;劉麗華

本發明涉及人工智能技術領域，提供一種講解同步的視頻高光處理方法、裝置、計算機設備及介質，包括：根據教學視頻的屬性提取教學視頻中的圖片幀序列及語音文本序列；根據圖片幀中的預設標記識別出多個關鍵圖片幀并根據多個關鍵圖片幀對語音文本序列進行切分，得到多個語音文本片段；確定每個關鍵圖片幀中每條圖片文本在對應的關鍵圖片幀出現的位置；從語音文本片段中匹配出與每條圖片文本對應的目標語音文本；根據每個關鍵圖片幀中每條圖片文本出現的位置及對應的目標語音文本的時間生成高光位置時間序列表；基于高光位置時間序列表對所述教學視頻中的文件進行高光渲染。本發明使得視頻中的文件與講解進度同步高光跟隨，視頻處理效率高。

技術領域

本發明涉及人工智能技術領域，具體涉及一種講解同步的視頻高光處理方法、裝置、計算機設備及介質。

背景技術

隨著移動終端技術的快速發展，線上培訓已經逐漸替代了線下培訓模式。在涉及大量專業知識的教學視頻中，講師一般會配合以PPT或者WORD等文件為主的教學文件來展示結構化的知識脈絡，在畫外講解課程內容。

發明人在實現本發明的過程中發現，目前線上視頻中的PPT等文件先展示出完整一頁知識點后講師再做逐一講解，而無法隨著講解的進度自動展示知識點的效果，導致視頻的觀賞性不強；雖可以在視頻中增加指定的特效效果，但出于PPT等文件的風格不同、展示的知識點細化程度不同等原因，對視頻中大量的視頻幀進行處理，計算復雜度較高，視頻處理效率較低。

發明內容

鑒于以上內容，有必要提出一種講解同步的視頻高光處理方法、裝置、計算機設備及介質，能夠使得文件與講解進度同步高光跟隨，視頻處理效率高，且提高了教學視頻的觀賞性。

本發明的第一方面提供一種講解同步的視頻高光處理方法，所述方法包括：

根據教學視頻的屬性提取教學視頻中的圖片幀序列及語音文本序列；

根據圖片幀中的預設標記識別所述圖片幀序列中的多個關鍵圖片幀，并根據所述多個關鍵圖片幀對所述語音文本序列進行切分，得到多個語音文本片段；

識別每個關鍵圖片幀中每條圖片文本，并確定每條圖片文本在對應的關鍵圖片幀出現的位置；

根據每個關鍵圖片幀中每條圖片文本，從對應的語音文本片段中匹配出目標語音文本；

根據每個關鍵圖片幀中每條圖片文本出現的位置及對應的目標語音文本的時間生成高光位置時間序列表；

基于所述高光位置時間序列表對所述教學視頻中的文件進行高光渲染。

在一個可選的實施例中，所述根據教學視頻的屬性提取教學視頻中的圖片幀序列及語音文本序列包括：

提取所述教學視頻中的視頻數據及音頻數據；

獲取所述教學視頻的總時長及所述教學視頻中的文件的總頁數；

根據所述總時長及所述總頁數計算采樣幀率；

采用所述采樣幀率對所述視頻數據進行采樣，得到圖片幀序列；

對所述音頻數據進行語音識別，得到語音文本序列。

在一個可選的實施例中，所述根據圖片幀中的預設標記識別所述圖片幀序列中的多個關鍵圖片幀包括：

將所述圖片幀序列中的每前后兩個圖片幀進行組合，得到多個圖片幀對；

計算每個圖片幀對的相似度；

計算每個圖片幀對中的預設標記的數量，并根據所述數量更新預設相似度閾值，得到目標相似度閾值；

從所述多個圖片幀對中獲取相似度小于對應的目標相似度閾值的多個目標圖片幀對；