[發(fā)明專利]視頻處理方法及裝置、訓(xùn)練方法和存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202011138121.4
• 申請日: 2020-10-22
• 公開（公告）號: CN112261477B
• 公開（公告）日: 2023-04-14
• 發(fā)明（設(shè)計）人: 趙飛;張俊;仲亮亮
• 申請（專利權(quán)）人: 新東方教育科技集團有限公司
• 主分類號: H04N21/442
• 分類號: H04N21/442;H04N21/432;H04N21/845
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 彭久云;王麗

1.一種適于計算機執(zhí)行的視頻處理方法，包括：

獲取課程教學(xué)視頻，其中，所述課程教學(xué)視頻包括課程展示視頻圖像部分和課程教學(xué)音頻部分，其中，所述課程展示視頻圖像部分包括課件部分和板書部分中的至少一個；

根據(jù)所述課程展示視頻圖像部分和所述課程教學(xué)音頻部分確定視頻切分模型；

根據(jù)所述視頻切分模型確定視頻切分節(jié)點，以基于所述視頻切分節(jié)點將所述課程教學(xué)視頻劃分為多個知識點視頻片段；

其中，根據(jù)所述課程展示視頻圖像部分和所述課程教學(xué)音頻部分確定所述視頻切分模型，包括：

如果所述課程展示視頻圖像部分是課件部分，并且授課人位于所述課件部分，識別所述授課人所在區(qū)域并從所述課件部分中扣除，

其中，識別所述授課人所在區(qū)域，包括：

通過語義分割技術(shù)確定所述授課人所在第一子區(qū)域；

通過提取所述視頻中相鄰幀的幀差圖的連續(xù)最大區(qū)域確定所述授課人所在第二子區(qū)域；

將所述第一子區(qū)域和所述第二子區(qū)域進(jìn)行加權(quán)融合，以確定所述授課人所在區(qū)域。

2.根據(jù)權(quán)利要求1所述的視頻處理方法，其中，根據(jù)所述課程展示視頻圖像部分和所述課程教學(xué)音頻部分確定所述視頻切分模型，包括：

對所述課件部分進(jìn)行翻頁檢測，以確定所述課程教學(xué)視頻的第一視頻切分子節(jié)點；

在所述板書部分，根據(jù)板書的更新操作和所述板書的信息熵確定所述課程教學(xué)視頻的第二視頻切分子節(jié)點；

對所述課程教學(xué)音頻部分進(jìn)行語音分析，并結(jié)合課程知識圖譜確定所述課程教學(xué)視頻的第三視頻切分子節(jié)點；

基于所述第一視頻切分子節(jié)點、所述第二視頻切分子節(jié)點和所述第三視頻切分子節(jié)點確定所述視頻切分模型。

3.根據(jù)權(quán)利要求2所述的視頻處理方法，其中，基于所述第一視頻切分子節(jié)點、所述第二視頻切分子節(jié)點和所述第三視頻切分子節(jié)點確定所述視頻切分模型，包括：

分別選取所述第一視頻切分子節(jié)點、所述第二視頻切分子節(jié)點和所述第三視頻切分子節(jié)點各自的權(quán)重，基于所述權(quán)重確定所述視頻切分模型。

4.根據(jù)權(quán)利要求2所述的視頻處理方法，其中，對所述課件部分進(jìn)行翻頁檢測，以確定所述課程教學(xué)視頻的所述第一視頻切分子節(jié)點，包括：

獲取幀差圖二值化閾值和翻頁閾值；

獲取所述視頻中相鄰幀的幀差圖，并將所述幀差圖進(jìn)行二值化處理以得到二值化幀差圖；

判斷所述二值化幀差圖中非零像素的數(shù)量是否大于所述幀差圖二值化閾值；

如果是，則檢測所述幀差圖中是否有授課人；

如果是，則在所述幀差圖中扣除所述授課人所在區(qū)域，并判斷扣除所述授課人所在區(qū)域后的幀差圖中的非零像素的數(shù)量是否大于翻頁閾值；

如果是，則將所述相鄰幀中當(dāng)前幀判定為翻頁節(jié)點，并將所述翻頁節(jié)點作為所述第一視頻切分子節(jié)點；

如果否，則判斷所述相鄰幀中下一幀是否為所述視頻的最后一幀；

如果否，則將所述下一幀作為當(dāng)前幀繼續(xù)進(jìn)行上述操作。

5.根據(jù)權(quán)利要求4所述的視頻處理方法，其中，獲取所述幀差圖二值化閾值，包括：

基于第一加權(quán)均值和第二加權(quán)均值確定所述幀差圖二值化閾值；

其中，所述第一加權(quán)均值表示在未翻頁情況下幀差圖的幀差像素灰度值和對應(yīng)像素數(shù)量的加權(quán)均值；所述第二加權(quán)均值表示在翻頁情況下幀差圖的幀差像素灰度值和對應(yīng)像素數(shù)量的加權(quán)均值。

6.根據(jù)權(quán)利要求4所述的視頻處理方法，其中，獲取所述翻頁閾值，包括：

利用目標(biāo)檢測技術(shù)確定所述課程教學(xué)視頻中各幀均包括的標(biāo)識的所在區(qū)域并進(jìn)行扣除以獲得無標(biāo)識的各幀圖像；

對所述課程教學(xué)視頻中所述無標(biāo)識的各幀圖像進(jìn)行縮放處理以統(tǒng)一所述無標(biāo)識的各幀圖像的尺寸；

基于第一均值和第二均值確定所述翻頁閾值；

其中，所述第一均值表示在未翻頁情況下，所述縮放后的無標(biāo)識的各幀圖像各自單頁幀差圖中像素變化數(shù)量的均值；所述第二均值表示在翻頁情況下，所述縮放后的無標(biāo)識的各幀圖像各自單頁幀差圖中像素變化數(shù)量的均值。