[發明專利]替換人臉部眼睛樣式并跟隨眼睛動作的方法、系統和介質

有效

• 申請號: 202211383668.X
• 申請日: 2022-11-07
• 公開（公告）號: CN115426506B
• 公開（公告）日: 2023-02-03
• 發明（設計）人: 王維;楊飛
• 申請（專利權）人: 北京鮮衣怒馬文化傳媒有限公司
• 主分類號: H04N21/2187
• 分類號: H04N21/2187;H04N21/43;H04N21/44;G06T13/40;G06T3/00;G06V40/18;G06F3/01
• 代理公司: 北京惟盛達知識產權代理事務所(普通合伙) 11855
• 代理人: 陳釗

1.替換人臉部眼睛樣式并跟隨眼睛動作的方法，其特征在于，包括：

獲取預設圖片或視頻一幀中的人臉部分信息；

根據預設圖片或視頻一幀中的人臉部分信息，得到預設圖片或視頻一幀中人臉部分的眼睛狀態信息；

判斷所述人臉部分的眼睛狀態是否為閉眼狀態，若是，則直接使用預設閉眼遮罩信息；若否，則通過預設眼動追蹤模塊，得到睜眼遮罩信息；

將眼部遮罩發送至預設臉部遮罩，通過對齊、穩定性處理，得到更換圖片或視頻一幀信息；

將更換圖片或視頻一幀發送至原圖片或視頻一幀處，得到替換效果；

還包括：

將正臉且眼睛平射為基準，設定坐標系；

將正臉對稱位置的中線設為y軸，方向朝上；眼睛平射位置的水平線設為x軸，方向朝右；

還包括：

獲取預設眼罩的眼睛尺寸值，其半徑設為；

將眼睛平射時的右瞳孔中心點坐標設為，左瞳孔中心點坐標設為；

獲取眼睛轉動時的右瞳孔中心點坐標設為，左瞳孔中心點坐標設為；

根據坐標差值和眼睛尺寸值，得到瞳孔轉動的角度值，其公式為：，其中表示瞳孔上下轉動的角度，其中正數為向上轉動，負數為向下轉動；，其中 表示瞳孔左右轉動的角度，其中正數為向右轉動，負數為向左轉動；其中和為瞳孔坐標的相對差值。

2.根據權利要求1所述的替換人臉部眼睛樣式并跟隨眼睛動作的方法，其特征在于，所述通過預設眼動追蹤模塊，得到睜眼遮罩，具體為：

基于預設眼動追蹤程序，檢測對應人臉部分的瞳孔位置，若檢測到，則直接輸出瞳孔位置；若沒有檢測到，則使用默認瞳孔位置；

將預設睜眼模型按照瞳孔位置進行對齊，得到睜眼遮罩信息。

3.根據權利要求1所述的替換人臉部眼睛樣式并跟隨眼睛動作的方法，其特征在于，還包括：

根據瞳孔轉動的初始位置、終點位置和轉動的角度，得到瞳孔轉動的運動軌跡；

所述運動軌跡的方向為初始位置至終點位置。

4.根據權利要求1所述的替換人臉部眼睛樣式并跟隨眼睛動作的方法，其特征在于，還包括：

獲取眼睛遮罩中的眼睛縮放比例；

獲取人臉部分的實際眼睛尺寸信息；

根據人臉部分的實際眼睛尺寸和縮放比值，得到眼睛遮罩中的眼睛大小值。

5.替換人臉部眼睛樣式并跟隨眼睛動作的系統，其特征在于，包括存儲器和處理器，所述存儲器中存儲有替換人臉部眼睛樣式并跟隨眼睛動作的方法程序，所述替換人臉部眼睛樣式并跟隨眼睛動作的方法程序被所述處理器執行時實現如下步驟：

獲取預設圖片或視頻一幀中的人臉部分信息；

根據預設圖片或視頻一幀中的人臉部分信息，得到預設圖片或視頻一幀中人臉部分的眼睛狀態信息；

判斷所述人臉部分的眼睛狀態是否為閉眼狀態，若是，則直接使用預設閉眼遮罩信息；若否，則通過預設眼動追蹤模塊，得到睜眼遮罩信息；

將眼部遮罩發送至預設臉部遮罩，通過對齊、穩定性處理，得到更換圖片或視頻一幀信息；

將更換圖片或視頻一幀發送至原圖片或視頻一幀處，得到替換效果；

所述替換人臉部眼睛樣式并跟隨眼睛動作的方法程序被所述處理器執行時還實現如下步驟：

將正臉且眼睛平射為基準，設定坐標系；

將正臉對稱位置的中線設為y軸，方向朝上；眼睛平射位置的水平線設為x軸，方向朝右；

所述替換人臉部眼睛樣式并跟隨眼睛動作的方法程序被所述處理器執行時還實現如下步驟：

獲取預設眼罩的眼睛尺寸值，其半徑設為；

將眼睛平射時的右瞳孔中心點坐標設為，左瞳孔中心點坐標設為；

獲取眼睛轉動時的右瞳孔中心點坐標設為，左瞳孔中心點坐標設為；

根據坐標差值和眼睛尺寸值，得到瞳孔轉動的角度值，其公式為：，其中表示瞳孔上下轉動的角度，其中正數為向上轉動，負數為向下轉動；，其中 表示瞳孔左右轉動的角度，其中正數為向右轉動，負數為向左轉動；其中和為瞳孔坐標的相對差值。