[發明專利]視頻處理方法及裝置、訓練方法和存儲介質

有效

• 申請號: 202011138121.4
• 申請日: 2020-10-22
• 公開（公告）號: CN112261477B
• 公開（公告）日: 2023-04-14
• 發明（設計）人: 趙飛;張俊;仲亮亮
• 申請（專利權）人: 新東方教育科技集團有限公司
• 主分類號: H04N21/442
• 分類號: H04N21/442;H04N21/432;H04N21/845
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 彭久云;王麗

一種適于計算機執行的視頻處理方法、目標檢測模型的訓練方法、視頻處理裝置和存儲介質。該視頻處理方法包括：獲取課程教學視頻，課程教學視頻包括課程展示視頻圖像部分和課程教學音頻部分；根據課程展示視頻圖像部分和課程教學音頻部分確定視頻切分模型；根據視頻切分模型確定視頻切分節點，以基于視頻切分節點將課程教學視頻劃分為多個知識點視頻片段。該視頻處理方法可以提升課程清晰度，提高課程回放的觀看效果和效率。

技術領域

本公開的實施例涉及一種適于計算機執行的視頻處理方法、目標檢測模型的訓練方法、視頻處理裝置和存儲介質。

背景技術

近年來，由于傳統教學模式已逐漸不能滿足學生對于多媒體信息化便于回放、隨時回顧等教學方式的需求，伴隨互聯網特別是移動互聯網的發展和普及，網絡教學技術也得到了快速發展。

發明內容

本公開至少一實施例提供一種適于計算機執行的視頻處理方法，包括：獲取課程教學視頻，所述課程教學視頻包括課程展示視頻圖像部分和課程教學音頻部分；根據所述課程展示視頻圖像部分和所述課程教學音頻部分確定視頻切分模型；根據所述視頻切分模型確定視頻切分節點，以基于所述視頻切分節點將所述課程教學視頻劃分為多個知識點視頻片段。

例如，在本公開至少一實施例提供的視頻處理方法中，所述課程展示視頻圖像部分包括課件部分和板書部分中的至少一個，根據所述課程展示視頻圖像部分和所述課程教學音頻部分確定所述視頻切分模型，包括：對所述課件部分進行翻頁檢測，以確定所述課程教學視頻的第一視頻切分子節點；在所述板書部分，根據所述板書的更新操作和所述板書的信息熵確定所述課程教學視頻的第二視頻切分子節點；對所述課程教學音頻部分進行語音分析，并結合課程知識圖譜確定所述課程教學視頻的第三視頻切分子節點；基于所述第一視頻切分子節點、所述第二視頻切分子節點和所述第三視頻切分子節點確定所述視頻切分模型。

例如，在本公開至少一實施例提供的視頻處理方法中，基于所述第一視頻切分子節點、所述第二視頻切分子節點和所述第三視頻切分子節點確定所述視頻切分模型，包括：分別選取所述第一視頻切分子節點、所述第二視頻切分子節點和所述第三視頻切分子節點各自的權重，基于所述權重確定所述視頻切分模型。

例如，在本公開至少一實施例提供的視頻處理方法中，對所述課件部分進行翻頁檢測，以確定所述課程教學視頻的所述第一視頻切分子節點，包括：獲取幀差圖二值化閾值和翻頁閾值；獲取所述視頻中相鄰幀的幀差圖，并將所述幀差圖進行二值化處理以得到二值化幀差圖；判斷所述二值化幀差圖中非零像素的數量是否大于所述幀差圖二值化閾值；如果是，則檢測所述幀差圖中是否有授課人；如果是，則在所述幀差圖中扣除所述授課人所在區域，并判斷扣除所述授課人所在區域后的幀差圖中的非零像素的數量是否大于翻頁閾值；如果是，則將所述相鄰幀中當前幀判定為翻頁節點，并將所述翻頁節點作為所述第一視頻切分子節點；如果否，則判斷所述相鄰幀中下一幀是否為所述視頻的最后一幀；如果否，則將所述下一幀作為當前幀繼續進行上述操作。

例如，在本公開至少一實施例提供的視頻處理方法中，獲取所述幀差圖二值化閾值，包括：基于第一加權均值和第二加權均值確定所述幀差圖二值化閾值；所述第一加權均值表示在未翻頁情況下幀差圖的幀差像素灰度值和對應像素數量的加權均值；所述第二加權均值表示在翻頁情況下幀差圖的幀差像素灰度值和對應像素數量的加權均值。

例如，在本公開至少一實施例提供的視頻處理方法中，獲取所述翻頁閾值，包括：利用目標檢測技術確定所述課程教學視頻中各幀均包括的標識的所在區域并進行扣除以獲得無標識的各幀圖像；對所述課程教學視頻中所述無標識的各幀圖像進行縮放處理以統一所述無標識的各幀圖像的尺寸；基于第一均值和第二均值確定所述翻頁閾值；所述第一均值表示在未翻頁情況下，所述縮放后的無標識的各幀圖像各自單頁幀差圖中像素變化數量的均值；所述第二均值表示在翻頁情況下，所述縮放后的無標識的各幀圖像各自單頁幀差圖中像素變化數量的均值。