[發明專利]授課視頻的智能剪輯方法、系統、電子設備及存儲介質

有效

• 申請號: 202210636418.6
• 申請日: 2022-06-07
• 公開（公告）號: CN114938462B
• 公開（公告）日: 2023-06-30
• 發明（設計）人: 劉釗
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: H04N21/234
• 分類號: H04N21/234;H04N21/44;G10L15/26
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 葉恩華

1.一種授課視頻的智能剪輯方法，其特征在于，包括：

獲取基于授課場景錄制的原始視頻；

對所述原始視頻進行篩選處理，得到精選視頻；

獲取所述原始視頻中的語音內容，對所述語音內容進行語音識別得到授課內容，對所述授課內容進行自然語言處理，從中確定重復出現的對話文案為候選文案，再從所述候選文案中篩選得到授課過程中的重要文案；

對所述精選視頻進行分幀處理，得到多個候選視頻幀，根據所述重要文案在多個所述候選視頻幀中進行篩選，得到所述重要文案對應的重要視頻幀；

對所述重要視頻幀進行重新組合，得到并輸出智能剪輯結果。

2.根據權利要求1所述的授課視頻的智能剪輯方法，其特征在于，所述對所述原始視頻進行篩選處理，得到精選視頻，包括：

計算所述原始視頻的時長，刪除時長小于或者等于預設時長閾值的所述原始視頻，得到第一篩選視頻；

提取所述第一篩選視頻中的音軌并對所述音軌進行語音內容識別處理，刪除所述語音內容不符合預設內容條件的所述第一篩選視頻，得到第二篩選視頻；

將所述第二篩選視頻按時間軸分離成多個視頻幀，對所述視頻幀進行篩選處理得到所述精選視頻。

3.根據權利要求2所述的授課視頻的智能剪輯方法，其特征在于，所述對所述視頻幀進行篩選處理得到所述精選視頻，包括：

遍歷各個所述視頻幀，通過預先訓練好的深度學習模型提取各個所述視頻幀對應的圖像特征，將各個所述視頻幀對應的所述圖像特征進行拼接，得到各個所述視頻幀對應的第一特征向量；

根據預設的距離函數確定任意兩個所述視頻幀對應的所述第一特征向量之間的距離值；

根據所述距離值確定相似的所述視頻幀，從相似的所述視頻幀中刪除目標視頻幀，根據刪除所述目標視頻幀后剩余的所述視頻幀得到所述精選視頻。

4.根據權利要求1所述的授課視頻的智能剪輯方法，其特征在于，所述獲取所述原始視頻中的語音內容，對所述語音內容進行語音識別得到授課內容，包括：

根據所述原始視頻中的語音內容得到多段原始音頻；

識別出所述原始音頻中的背景聲和人聲，去除所述背景聲并保留所述人聲得到第一音頻；

提取所述第一音頻中的頻率特征，并基于所述頻率特征和預先訓練好的語音分離推斷模型進行人聲分離，分離出不同人的聲音得到第二音頻；

根據所述第二音頻進行語音識別，提取出所述授課內容。

5.根據權利要求1所述的授課視頻的智能剪輯方法，其特征在于，所述對所述授課內容進行自然語言處理，從中確定重復出現的對話文案為候選文案，再從所述候選文案中篩選得到授課過程中的重要文案，包括：

對所述授課內容進行歸類處理，并在對應的視頻時間軸上對歸類處理后的所述授課內容進行依次排序；

對排序后的所述授課內容通過預先訓練好的自然語言處理模型提取出對話文案的第二特征向量；

對所述第二特征向量進行聚類處理以確定任意兩個所述第二特征向量之間的相似度值，根據所述相似度值從所述對話文案中確定重復出現的候選文案；

獲取預設的所述候選文案的篩選條件，基于所述篩選條件篩選所述候選文案得到所述重要文案。

6.根據權利要求5所述的授課視頻的智能剪輯方法，其特征在于，所述獲取預設的所述候選文案的篩選條件，基于所述篩選條件篩選所述候選文案得到所述重要文案，包括：

獲取以所述候選文案出現的次數作為的第一篩選條件；

獲取以所述候選文案在所述視頻時間軸上出現的時間作為的第二篩選條件；

獲取所述原始視頻中授課導師的授課狀態、并以所述候選文案在匹配的視頻幀中是否有對應的所述授課狀態作為的第三篩選條件；

獲取所述授課狀態、并以所述候選文案在匹配的視頻幀中對應的所述授課狀態出現的時長作為的第四篩選條件；

基于所述第一篩選條件、所述第二篩選條件、所述第三篩選條件和所述第四篩選條件中的一個或多個篩選所述候選文案得到所述重要文案。