[發(fā)明專利]講解同步的視頻高光處理方法、裝置、計算機設(shè)備及介質(zhì)

有效

• 申請?zhí)枺?/td>: 202011591754.0
• 申請日: 2020-12-29
• 公開（公告）號: CN112289321B
• 公開（公告）日: 2021-03-30
• 發(fā)明（設(shè)計）人: 許丹
• 申請（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號: G10L15/26
• 分類號: G10L15/26
• 代理公司: 深圳市賽恩倍吉知識產(chǎn)權(quán)代理有限公司 44334
• 代理人: 楊毅玲;劉麗華

1.一種講解同步的視頻高光處理方法，其特征在于，所述方法包括：

根據(jù)教學(xué)視頻的屬性提取教學(xué)視頻中的圖片幀序列及語音文本序列；

根據(jù)圖片幀中的預(yù)設(shè)標(biāo)記識別所述圖片幀序列中的多個關(guān)鍵圖片幀，并根據(jù)所述多個關(guān)鍵圖片幀對所述語音文本序列進(jìn)行切分，得到多個語音文本片段；

識別每個關(guān)鍵圖片幀中每條圖片文本，并確定每條圖片文本在對應(yīng)的關(guān)鍵圖片幀出現(xiàn)的位置；

根據(jù)每個關(guān)鍵圖片幀中每條圖片文本，從對應(yīng)的語音文本片段中匹配出目標(biāo)語音文本；

根據(jù)每個關(guān)鍵圖片幀中每條圖片文本出現(xiàn)的位置及對應(yīng)的目標(biāo)語音文本的時間生成高光位置時間序列表；

基于所述高光位置時間序列表對所述教學(xué)視頻中的文件進(jìn)行高光渲染。

2.如權(quán)利要求1所述的講解同步的視頻高光處理方法，其特征在于，所述根據(jù)教學(xué)視頻的屬性提取教學(xué)視頻中的圖片幀序列及語音文本序列包括：

提取所述教學(xué)視頻中的視頻數(shù)據(jù)及音頻數(shù)據(jù)；

獲取所述教學(xué)視頻的總時長及所述教學(xué)視頻中的文件的總頁數(shù)；

根據(jù)所述總時長及所述總頁數(shù)計算采樣幀率；

采用所述采樣幀率對所述視頻數(shù)據(jù)進(jìn)行采樣，得到圖片幀序列；

對所述音頻數(shù)據(jù)進(jìn)行語音識別，得到語音文本序列。

3.如權(quán)利要求1所述的講解同步的視頻高光處理方法，其特征在于，所述根據(jù)圖片幀中的預(yù)設(shè)標(biāo)記識別所述圖片幀序列中的多個關(guān)鍵圖片幀包括：

將所述圖片幀序列中的每前后兩個圖片幀進(jìn)行組合，得到多個圖片幀對；

計算每個圖片幀對的相似度；

計算每個圖片幀對中的預(yù)設(shè)標(biāo)記的數(shù)量，并根據(jù)所述數(shù)量更新預(yù)設(shè)相似度閾值，得到目標(biāo)相似度閾值；

從所述多個圖片幀對中獲取相似度小于對應(yīng)的目標(biāo)相似度閾值的多個目標(biāo)圖片幀對；

將每個目標(biāo)圖片幀對中的后一個目標(biāo)圖片幀確定為關(guān)鍵圖片幀，得到多個關(guān)鍵圖片幀。

4.如權(quán)利要求1所述的講解同步的視頻高光處理方法，其特征在于，所述根據(jù)所述多個關(guān)鍵圖片幀對所述語音文本序列進(jìn)行切分，得到多個語音文本片段包括：

確定每個關(guān)鍵圖片幀在所述教學(xué)視頻中的第一關(guān)鍵時間點；

匹配所述語音文本序列中與每個第一關(guān)鍵時間點對應(yīng)的第二關(guān)鍵時間點；

以每個第二關(guān)鍵時間點為文本切分點，對所述語音文本序列進(jìn)行切分，得到多個語音文本片段。

5.如權(quán)利要求1所述的講解同步的視頻高光處理方法，其特征在于，所述根據(jù)每個關(guān)鍵圖片幀中每條圖片文本，從對應(yīng)的語音文本片段中匹配出目標(biāo)語音文本包括：

提取每個關(guān)鍵圖片幀中每條圖片文本的第一詞向量；

提取每個語音文本片段中每條語音文本的第二詞向量；

計算每個關(guān)鍵圖片幀中的每個第一詞向量與對應(yīng)的語音文本片段中的每個第二詞向量之間的相似度；

將每個語音文本片段中相似度最大的第二詞向量對應(yīng)的語音文本確定為所述語音文本片段對應(yīng)的關(guān)鍵圖片幀中對應(yīng)的圖片文本的目標(biāo)語音文本。

6.如權(quán)利要求1至5中任意一項所述的講解同步的視頻高光處理方法，其特征在于，所述基于所述高光位置時間序列表對所述教學(xué)視頻中的文件進(jìn)行高光渲染包括：

對于所述高光位置時間序列表中的上一時間點，在所述教學(xué)視頻中與所述上一時間點對應(yīng)的位置處添加第一高光圖層；

維持所述第一高光圖層不變，直到所述高光位置時間序列表中的下一時間點；

在所述教學(xué)視頻中與所述下一時間點對應(yīng)的位置處添加第二高光圖層。

7.如權(quán)利要求1至5中任意一項所述的講解同步的視頻高光處理方法，其特征在于，所述方法還包括：

接收用戶的輸入文本；

計算所述輸入文本與所述語音文本片段中每條語音文本之間的相似度；

確定與相似度最大的語音文本對應(yīng)的目標(biāo)圖片文本；

根據(jù)所述高光位置時間序列表跳轉(zhuǎn)到所述教學(xué)視頻中所述目標(biāo)圖片文本所在的目標(biāo)關(guān)鍵圖片幀，并在所述目標(biāo)關(guān)鍵圖片幀中高光顯示所述目標(biāo)圖片文本。