[發明專利]替換人臉部眼睛樣式并跟隨眼睛動作的方法、系統和介質

有效

• 申請號: 202211383668.X
• 申請日: 2022-11-07
• 公開（公告）號: CN115426506B
• 公開（公告）日: 2023-02-03
• 發明（設計）人: 王維;楊飛
• 申請（專利權）人: 北京鮮衣怒馬文化傳媒有限公司
• 主分類號: H04N21/2187
• 分類號: H04N21/2187;H04N21/43;H04N21/44;G06T13/40;G06T3/00;G06V40/18;G06F3/01
• 代理公司: 北京惟盛達知識產權代理事務所(普通合伙) 11855
• 代理人: 陳釗

發明公開的替換人臉部眼睛樣式并跟隨眼睛動作的方法、系統和介質，其中方法包括：獲取預設圖片或視頻一幀中的人臉部分信息；根據預設圖片或視頻一幀中的人臉部分信息，得到預設圖片或視頻一幀中人臉部分的眼睛狀態信息；判斷所述人臉部分的眼睛狀態是否為閉眼狀態，若是，則直接使用預設閉眼遮罩信息；若否，則通過預設眼動追蹤模塊，得到睜眼遮罩信息；將眼部遮罩發送至預設臉部遮罩，通過對齊、穩定性處理，得到更換圖片或視頻一幀信息；將更換圖片或視頻一幀發送至原圖片或視頻一幀處，得到替換效果。本發明比較完美的解決了使用遮罩方法進行實時換臉時，遮罩的眼睛部分沒辦法與被替換的主播同步動作的問題，有效的提升了換臉效果。

技術領域

本申請涉及圖像識別技術領域，更具體的，涉及替換人臉部眼睛樣式并跟隨眼睛動作的方法、系統和介質。

背景技術

在以面具遮罩為原理的實時換臉方案中，眼睛部位的替換一直是一個比較大的問題，因為眼睛是識別一個人的重要特征點，但是換臉需求又導致了眼睛必須實時的隨著主播的眼睛去運動。之前的解決方案是將遮罩的眼睛部分直接挖去，從而露出主播自己的眼睛。這樣做的缺陷就是加上遮罩之后，主播本人的特征仍然明顯，換臉效果不佳。

因此，現有技術存在缺陷，亟待改進。

發明內容

鑒于上述問題，本發明的目的是提供替換人臉部眼睛樣式并跟隨眼睛動作的方法、系統和介質，更夠更加有效的提高換臉效果。

本發明第一方面提供了替換人臉部眼睛樣式并跟隨眼睛動作的方法，包括：

獲取預設圖片或視頻一幀中的人臉部分信息；

根據預設圖片或視頻一幀中的人臉部分信息，得到預設圖片或視頻一幀中人臉部分的眼睛狀態信息；

判斷所述人臉部分的眼睛狀態是否為閉眼狀態，若是，則直接使用預設閉眼遮罩信息；若否，則通過預設眼動追蹤模塊，得到睜眼遮罩信息；

將眼部遮罩發送至預設臉部遮罩，通過對齊、穩定性處理，得到更換圖片或視頻一幀信息；

將更換圖片或視頻一幀發送至原圖片或視頻一幀處，得到替換效果。

本方案中，所述通過預設眼動追蹤模塊，得到睜眼遮罩，具體為：

基于預設眼動追蹤程序，檢測對應人臉部分的瞳孔位置，若檢測到，則直接輸出瞳孔位置；若沒有檢測到，則使用默認瞳孔位置；

將預設睜眼模型按照瞳孔位置進行對齊，得到睜眼遮罩信息。

本方案中，還包括：

將正臉且眼睛平射為基準，設定坐標系；

將正臉對稱位置的中線設為y軸，方向朝上；眼睛平射位置的水平線設為x軸，方向朝右。

本方案中，還包括：

獲取預設眼罩的眼睛尺寸值，其半徑設為；

將眼睛平射時的右瞳孔中心點坐標設為，左瞳孔中心點坐標設為；

獲取眼睛轉動時的右瞳孔中心點坐標設為，左瞳孔中心點坐標設為；

根據坐標差值和眼睛尺寸值，得到瞳孔轉動的角度值，其公式為：，其中表示瞳孔上下轉動的角度，其中正數為向上轉動，負數為向下轉動；，其中表示瞳孔左右轉動的角度，其中正數為向右轉動，負數為向左轉動；其中和為瞳孔坐標的相對差值。

本方案中，還包括：

根據瞳孔轉動的初始位置、終點位置和轉動的角度，得到瞳孔轉動的運動軌跡；

所述運動軌跡的方向為初始位置至終點位置。

本方案中，還包括：