[發明專利]視頻處理方法、裝置、介質及電子設備

在審

• 申請號: 202210101143.6
• 申請日: 2022-01-27
• 公開（公告）號: CN114466240A
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 陳奕名;張建鑫
• 申請（專利權）人: 北京精鴻軟件科技有限公司
• 主分類號: H04N21/439
• 分類號: H04N21/439;H04N21/4402;H04N21/472;G10L15/16;G10L15/22;G10L15/25;G10L15/26;G09B5/06;G06V40/16;G06V10/82;G06V10/774;G06N3/04;G06N3/08
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 魏嘉熹

本公開涉及一種視頻處理方法、裝置、介質及電子設備，所述方法包括：獲取錄制的教學視頻；確定所述教學視頻中與目標用戶對應的目標視頻；提取所述目標視頻中的視頻講述者的唇部區域圖像；確定所述唇部區域圖像對應的關鍵幀圖像；根據所述關鍵幀圖像和所述目標用戶對應的目標幀圖像，對所述教學視頻進行處理，以獲得更新后的教學視頻。由此，可以對錄制的教學視頻中與目標用戶對應的部分進行更新，使得更新后的教學視頻與實際觀看視頻的目標用戶相匹配，基于錄播的教學視頻實現直播的播放效果，貼合用戶的使用需求。并且，降低視頻處理的數據量的同時，提高視頻處理的效率和準確率。

技術領域

本公開涉及圖像處理領域，具體地，涉及一種視頻處理方法、裝置、介質及電子設備。

背景技術

隨著教育水平和網絡技術的不斷發展，錄播課逐漸成為教育場景中非常重要的一環，可以通過錄制錄播課以為學生提供視頻教學。

然而現有技術中，錄播課通常都是由教師提前錄制好的視頻，其難以達到根據實際的觀看場景進行交互的直播水平，不能保證教學視頻的良好效果。例如：錄播老師不能針對具體的學生進行表揚，只能泛泛地概括。或者在當前錄制的過程中針對具體學生表揚后，再由其他學生觀看時，則會使得觀看學生接收到不匹配的內容，降低錄播視頻的觀看體驗。

發明內容

本公開的目的是提供一種視頻處理方法、裝置、介質及電子設備，以使得處理后的錄播視頻與實際觀看用戶的信息相匹配，達到直播視頻的效果。

為了實現上述目的，根據本公開的第一方面，提供一種視頻處理方法，所述方法包括：

獲取錄制的教學視頻；

確定所述教學視頻中與目標用戶對應的目標視頻；

提取所述目標視頻中的視頻講述者的唇部區域圖像；

確定所述唇部區域圖像對應的關鍵幀圖像；

根據所述關鍵幀圖像和所述目標用戶對應的目標幀圖像，對所述教學視頻進行處理，以獲得更新后的教學視頻。

可選地，所述教學視頻包括通過紅外攝像裝置獲得的紅外視頻和通過光學攝像裝置獲得的光學視頻，所述紅外攝像裝置和所述光學攝像裝置預先進行圖像配準；

所述提取所述目標視頻中的視頻講述者的唇部區域圖像，包括：

基于相同的圖像幀抽取方式分別對所述目標視頻對應的紅外視頻和所述光學視頻中進行圖像幀抽取，獲得目標圖像幀對，其中，每一所述目標圖像幀對中包含紅外視頻幀和與該紅外視頻對應的光學視頻幀；

針對每一所述目標圖像幀對，根據所述目標圖像幀對中的紅外視頻幀確定唇部區域的位置信息，并基于確定出的位置信息從所述目標圖像幀對中的光學視頻幀中提取唇部區域圖像。

可選地，所述根據所述目標圖像幀對中的紅外視頻幀確定唇部區域的位置信息，包括：

檢測所述紅外視頻幀的第一目標特征點和第二目標特征點，其中，所述第一目標特征點用于表征唇部區域的上下邊界點，所述第二目標特征點用于表示所述唇部區域的左右邊界點；

基于所述紅外攝像裝置和所述光學攝像裝置對應的圖像配準信息，對確定出的所述第一目標特征點和第二目標特征點分別對應的位置信息進行坐標轉換，獲得所述唇部區域的位置信息。

可選地，所述確定所述唇部區域圖像對應的關鍵幀圖像，包括：

將所述唇部區域圖像輸入關鍵幀識別模型，以基于所述關鍵幀識別模型的多個卷積層的卷積核對所述唇部圖像進行卷積特征提取，并基于提取出的卷積特征獲得所述唇部區域圖像對應的關鍵幀向量，其中，所述關鍵幀識別模型基于全卷積網絡獲得，所述多個卷積層包括串聯的至少一個橫向卷積層和至少一個縱向卷積層；