[發明專利]一種視頻人物唇形檢測生成的方法及裝置

在審

• 申請號: 202011474640.8
• 申請日: 2020-12-14
• 公開（公告）號: CN112651310A
• 公開（公告）日: 2021-04-13
• 發明（設計）人: 李欣
• 申請（專利權）人: 北京影譜科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/40
• 代理公司: 北京萬思博知識產權代理有限公司 11694
• 代理人: 姜楠楠

1.一種視頻人物唇形檢測生成的方法，包括：

提取輸入視頻中的視頻幀圖像；

基于所述視頻幀圖像的全局特征和局部特征，提取所述視頻幀圖像的面部區域和背景；

利用預設時序數據網絡模型對所述視頻幀圖像的面部區域和背景進行邊緣提取，生成所述視頻幀圖像對應的唇形生成圖像；

對于所述唇形生成圖像，利用連續幀相減法計算相鄰兩幀視頻幀圖像之間的差距，根據所述差距對所述唇形生成圖像進行濾波處理；

對經過濾波處理的唇形生成圖像進行視頻生成處理。

2.根據權利要求1所述的方法，其特征在于，對經過濾波處理的唇形生成圖像進行視頻生成處理包括：

調整經過濾波處理的唇形生成圖像的唇形角度，使所述唇形平面內旋轉角為零；

將從所述輸入視頻提取的音頻數據與調衡后唇形生成圖像進行合成，得到唇形視頻。

3.根據權利要求1或2所述的方法，其特征在于，對于所述唇形生成圖像，利用連續幀相減法計算相鄰兩幀視頻幀圖像之間的差距，根據所述差距對所述唇形生成圖像進行濾波處理包括：

利用連續幀相減法計算相鄰兩幀視頻幀圖像之間的差距，當所述差距大于或者等于像素點閾值時，對所述唇形生成圖像采用均值濾波處理；當所述差距小于像素點閾值時，不進行濾波處理。

4.根據權利要求3所述的方法，其特征在于，采用均值濾波處理包括：

利用N×N卷積核對相鄰兩幀視頻幀圖像之間的差距進行均值處理。

5.根據權利要求1所述的方法，其特征在于，獲取預設時序數據網絡模型包括：

利用深度學習技術，訓練得到基于特征點的時序數據網絡模型。

6.一種視頻人物唇形檢測生成的裝置，包括：

視頻圖像模塊，設置為提取輸入視頻中的視頻幀圖像；

面部提取模塊，設置為基于所述視頻幀圖像的全局特征和局部特征，提取所述視頻幀圖像的面部區域和背景；

唇形生成模塊，設置為利用預設時序數據網絡模型對所述視頻幀圖像的面部區域和背景進行邊緣提取，生成所述視頻幀圖像對應的唇形生成圖像；

濾波模塊，設置為對于所述唇形生成圖像，利用連續幀相減法計算相鄰兩幀視頻幀圖像之間的差距，根據所述差距對所述唇形生成圖像進行濾波處理；

合成模塊，設置為對經過濾波處理的唇形生成圖像進行視頻生成處理。

7.根據權利要求6所述的裝置，其特征在于，所述合成模塊對經過濾波處理的唇形生成圖像進行視頻生成處理包括：

調整經過濾波處理的唇形生成圖像的唇形角度，使所述唇形平面內旋轉角為零；

將從所述輸入視頻提取的音頻數據與調衡后唇形生成圖像進行合成，得到唇形視頻。

8.根據權利要求6或7所述的裝置，其特征在于，所述濾波模塊對于所述唇形生成圖像，利用連續幀相減法計算相鄰兩幀視頻幀圖像之間的差距，根據所述差距對所述唇形生成圖像進行濾波處理包括：

利用連續幀相減法計算相鄰兩幀視頻幀圖像之間的差距，當所述差距大于或者等于像素點閾值時，對所述唇形生成圖像采用均值濾波處理；當所述差距小于像素點閾值時，不進行濾波處理。

9.根據權利要求8所述的裝置，其特征在于，所述濾波模塊采用均值濾波處理包括：

利用N×N卷積核對相鄰兩幀視頻幀圖像之間的差距進行均值處理。

10.根據權利要求6所述的裝置，其特征在于，所述唇形生成模塊獲取預設時序數據網絡模型包括：

利用深度學習技術，訓練得到基于特征點的時序數據網絡模型。