[發明專利]視頻摘要的生成方法、裝置、設備以及存儲介質

有效

• 申請號: 202111436728.5
• 申請日: 2021-11-29
• 公開（公告）號: CN114143479B
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 劉釗
• 申請（專利權）人: 中國平安人壽保險股份有限公司
• 主分類號: H04N5/265
• 分類號: H04N5/265
• 代理公司: 深圳市力道知識產權代理事務所(普通合伙) 44507
• 代理人: 張傳義

1.一種視頻摘要的生成方法，其特征在于，包括：

獲取目標文案解說視頻，并將所述目標文案解說視頻劃分為多個解說視頻片段；

根據每個所述解說視頻片段與目標文案講解的相關程度從多個所述解說視頻片段選出關鍵視頻片段，其中，每個所述關鍵視頻片段均包括講解所述目標文案的目標對象；

提取所述關鍵視頻片段對應的文案解說音頻及文案解說影像，并根據所述文案解說音頻獲取所述關鍵視頻片段中所述目標對象的第一語音數據，以及根據所述文案解說影像獲取所述關鍵視頻片段中所述目標對象的多張口型變化圖像，并根據多張所述口型變化圖像獲取所述目標對象對應的第二語音數據；

根據所述第一語音數據和所述第二語音數據確定所述目標對象的目標語音數據，并將所述目標語音數據輸入至預設的語音識別模型，以獲取目標文本信息；

根據每個所述關鍵視頻片段對應的所述文案解說影像、所述目標語音數據及所述目標文本信息生成對應所述關鍵視頻片段的視頻摘要片段，并將所述視頻摘要片段進行拼接，生成所述目標文案解說視頻對應的視頻摘要。

2.根據權利要求1所述的方法，其特征在于，所述根據每個所述解說視頻片段與目標文案講解的相關程度從多個所述解說視頻片段選出關鍵視頻片段，包括：

判斷所述解說視頻片段中講解所述目標文案的目標對象的出現時間是否超過預設時間；

當所述目標對象的出現時間超過預設時間時，獲取每個所述解說視頻片段中所出現的目標文案的文案信息，并對所述文案信息進行關鍵詞提取，以獲取文案關鍵詞；

根據每個所述解說視頻片段中對應的所述文案關鍵詞的出現頻率、及所述文案關鍵詞的數量獲取每個所述解說視頻片段的關鍵程度；

選擇所述關鍵程度最高的預設數量所述解說視頻片段作為所述關鍵視頻片段。

3.根據權利要求1所述的方法，其特征在于，所述根據每個所述解說視頻片段與目標文案講解的相關程度從多個所述解說視頻片段選出關鍵視頻片段，包括：

判斷所述解說視頻片段中講解所述目標文案的目標對象的出現時間是否超過預設時間；

當所述目標對象的出現時間超過預設時間時，獲取所述解說視頻片段的字幕信息，并根據所述字幕信息中的關鍵詞對每條所述字幕信息進行類型劃分；

基于每條所述字幕信息的字幕類型，以及各個所述字幕類型的加權系數對所述字幕信息進行加權求和，獲得所述解說視頻片段的關鍵程度；

選擇所述關鍵程度最高的預設數量所述解說視頻片段作為所述關鍵視頻片段。

4.根據權利要求1所述的方法，其特征在于，所述根據所述文案解說音頻獲取所述關鍵視頻片段中所述目標對象的第一語音數據，包括：

將所述文案解說音頻對應的音頻數據輸入到語音提取模型的特征提取網絡進行特征提取，獲取所述音頻數據對應的特征向量，所述音頻數據包括所述目標對象的第一語音數據和環境的噪聲數據；

將預設向量和所述特征向量輸入到所述語音提取模型的語音提取網絡，以從所述音頻數據中提取出所述目標對象的第一語音數據，其中，所述語音提取模型通過目標對象的語音訓練獲得，所述預設向量根據所述噪聲數據獲得，所述語音提取網絡以所述預設向量為參考，調整所述第一語音數據和所述噪聲數據在所述音頻數據中所占的比例，從而獲取所述目標對象的第一語音數據。

5.根據權利要求1所述的方法，其特征在于，所述根據所述文案解說影像獲取所述關鍵視頻片段中所述目標對象的多張口型變化圖像，并根據多張所述口型變化圖像獲取所述目標對象對應的第二語音數據，包括：

提取所述文案解說影像的每一幀視頻圖像中目標對象的口型圖像，并根據所述文案解說影像的時間軸賦予所述口型圖像對應的時間戳；

根據所述時間戳將所述口型圖像輸入至預設的唇語識別模型，以獲取所述文案解說影像中所述目標對象對應的第二語音數據。