[發明專利]一種視頻人物唇形檢測生成的方法及裝置

在審

• 申請號: 202011474640.8
• 申請日: 2020-12-14
• 公開（公告）號: CN112651310A
• 公開（公告）日: 2021-04-13
• 發明（設計）人: 李欣
• 申請（專利權）人: 北京影譜科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/40
• 代理公司: 北京萬思博知識產權代理有限公司 11694
• 代理人: 姜楠楠

本申請公開了一種視頻人物唇形檢測生成的方法及裝置，包括：提取輸入視頻中的視頻幀圖像；基于所述視頻幀圖像的全局特征和局部特征，提取所述視頻幀圖像的面部區域和背景；利用預設時序數據網絡模型對所述視頻幀圖像的面部區域和背景進行邊緣提取，生成所述視頻幀圖像對應的唇形生成圖像；對于所述唇形生成圖像，利用連續幀相減法計算相鄰兩幀視頻幀圖像之間的差距，根據所述差距對所述唇形生成圖像進行濾波處理；對經過濾波處理的唇形生成圖像進行視頻生成處理。本申請將加入閾值處理后的均值濾波平滑處理與基于深度學習的唇形特征點提取的方法相結合，基于視頻的前景人物的唇形檢測與生成，可廣泛應用于語音識別、多媒體系統、人物識別等領域。

技術領域

本申請涉及計算機視覺特征檢測技術領域，特別是涉及一種視頻人物唇形檢測生成的方法及裝置。

背景技術

唇形檢測(Lip detection)技術是指輸入為圖片或視頻，通過提取唇形特征信息，確認唇形特征點軌跡的檢測，從而從圖片或視頻中將任務唇形檢測的過程。唇形檢測在語音識別、身份識別、多媒體系統等多個領域具有較高的應用價值。基于視頻的唇形檢測與基于圖片的唇形檢測不同，除了提取唇形特征外，還需要將唇形邊緣重新生成視頻。而這個過程，由于視頻中不同幀間的差距會影響整體唇形生成的效果，如，容易出現抖動和不自然的現象。因此，如何減少幀間的相互影響，是基于視頻的前景人物唇形生成中非常重要的部分。

針對視頻中前景人物的唇形邊緣檢測的核心問題是如何在有效提取唇形關鍵點、唇形邊緣以及唇形運動軌跡的前提下，能夠減少相鄰幀之間的相互影響，從而減少生成唇形邊緣的視頻中的抖動問題。

傳統的唇形邊緣提取并重新生成的方式是，對視頻中的每一幀圖像進行特征提取，從而獲取特征點，依據特征點完成唇形邊緣的再塑。這樣處理的問題在于，當幀間像素點對應差距值過大時，生成的唇形軌跡視頻會出現明顯的抖動現象，尤其是在前景人物在不斷地講話過程。而如果對每一幀都進行平滑處理，會直接影響特征提取的效率。

發明內容

本申請的目的在于克服上述問題或者至少部分地解決或緩減解決上述問題。

根據本申請的一個方面，提供了一種視頻人物唇形檢測生成的方法，包括：

提取輸入視頻中的視頻幀圖像；

基于所述視頻幀圖像的全局特征和局部特征，提取所述視頻幀圖像的面部區域和背景；

利用預設時序數據網絡模型對所述視頻幀圖像的面部區域和背景進行邊緣提取，生成所述視頻幀圖像對應的唇形生成圖像；

對于所述唇形生成圖像，利用連續幀相減法計算相鄰兩幀視頻幀圖像之間的差距，根據所述差距對所述唇形生成圖像進行濾波處理；

對經過濾波處理的唇形生成圖像進行視頻生成處理。

優選地，對經過濾波處理的唇形生成圖像進行視頻生成處理包括：

調整經過濾波處理的唇形生成圖像的唇形角度，使所述唇形平面內旋轉角為零；

將從所述輸入視頻提取的音頻數據與調衡后唇形生成圖像進行合成，得到唇形視頻。

優選地，對于所述唇形生成圖像，利用連續幀相減法計算相鄰兩幀視頻幀圖像之間的差距，根據所述差距對所述唇形生成圖像進行濾波處理包括：

利用連續幀相減法計算相鄰兩幀視頻幀圖像之間的差距，當所述差距大于或者等于像素點閾值時，對所述唇形生成圖像采用均值濾波處理；當所述差距小于像素點閾值時，不進行濾波處理。

優選地，采用均值濾波處理包括：

利用N×N卷積核對相鄰兩幀視頻幀圖像之間的差距進行均值處理。

優選地，獲取預設時序數據網絡模型包括：