[發明專利]人臉圖像的視線矯正方法、裝置、設備及存儲介質

有效

• 申請號: 202110089871.5
• 申請日: 2021-01-22
• 公開（公告）號: CN112733797B
• 公開（公告）日: 2021-10-08
• 發明（設計）人: 彭瑾龍;賀珂珂;蔣正鍇;易陽;余曉銘;涂娟輝;周易;劉程浩;王亞彪;邰穎;汪鋮杰;李季檁;黃飛躍
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 祝亞男

1.一種人臉圖像的視線矯正方法，其特征在于，所述方法包括：

從人臉圖像中獲取待矯正眼部圖像；

基于所述待矯正眼部圖像，生成眼部運動流場和眼部輪廓掩碼；其中，所述眼部運動流場用于調整所述待矯正眼部圖像中的像素位置，所述眼部輪廓掩碼用于指示所述待矯正眼部圖像中的像素位置屬于眼部區域的概率；

采用所述眼部運動流場對所述待矯正眼部圖像進行變換處理，生成初步矯正后眼部圖像；

將所述眼部輪廓掩碼與所述初步矯正后眼部圖像中對應位置的像素值進行相乘，得到第一中間圖像；

將所述眼部輪廓掩碼對應的映射圖像與所述待矯正眼部圖像中對應位置的像素值進行相乘，得到第二中間圖像；其中，所述眼部輪廓掩碼對應的映射圖像中任一位置的像素值，是采用1減去所述眼部輪廓掩碼中相同位置的像素值得到的數值；

將所述第一中間圖像和所述第二中間圖像中對應位置的像素值進行相加，得到矯正后眼部圖像；

基于所述矯正后眼部圖像，生成經視線矯正后的人臉圖像。

2.根據權利要求1所述的方法，其特征在于，所述基于所述待矯正眼部圖像，生成眼部運動流場和眼部輪廓掩碼，包括：

通過視線矯正模型對所述待矯正眼部圖像進行處理，得到所述視線矯正模型的輸出數據；

從所述輸出數據中提取第一通道和第二通道的數據，得到所述眼部運動流場；

從所述輸出數據中提取第三通道的數據，得到所述眼部輪廓掩碼。

3.根據權利要求2所述的方法，其特征在于，所述通過視線矯正模型對所述待矯正眼部圖像進行處理，得到所述視線矯正模型的輸出數據，包括：

通過所述視線矯正模型的下采樣部分對所述待矯正眼部圖像進行下采樣處理，生成下采樣后圖像；

通過所述視線矯正模型的上采樣部分對所述下采樣后圖像進行上采樣處理，得到所述視線矯正模型的輸出數據；

其中，在所述上采樣處理的過程中，將當前上采樣步驟生成的特征圖與所述下采樣處理的過程中生成的相同尺寸特征圖進行級聯處理后，作為下一上采樣步驟的輸入圖像。

4.根據權利要求1所述的方法，其特征在于，所述從人臉圖像中獲取待矯正眼部圖像，包括：

從所述人臉圖像中識別得到單個眼睛的輪廓關鍵點；

基于所述單個眼睛的輪廓關鍵點，確定所述單個眼睛的最小外接矩形；

對所述單個眼睛的最小外接矩形放大指定倍數，得到所述單個眼睛的圖像截取框；

基于所述單個眼睛的圖像截取框，從所述人臉圖像中截取得到所述單個眼睛的待矯正眼部圖像。

5.根據權利要求1所述的方法，其特征在于，所述基于所述矯正后眼部圖像，生成經視線矯正后的人臉圖像，包括：

將所述矯正后眼部圖像整合至所述待矯正眼部圖像在所述人臉圖像的圖像截取框位置處，得到整合圖像；

對所述整合圖像中所述圖像截取框位置處進行圖像和諧化處理，得到所述經視線矯正后的人臉圖像；其中，所述圖像和諧化處理用于消除所述圖像截取框位置處的邊界痕跡。

6.根據權利要求5所述的方法，其特征在于，所述對所述整合圖像中所述圖像截取框位置處進行圖像和諧化處理，得到所述經視線矯正后的人臉圖像，包括：

生成與所述人臉圖像相同尺寸的初始化掩膜圖像，所述初始化掩膜圖像在所述圖像截取框位置處的像素值為1，其余位置的像素值為0；

對所述初始化掩膜圖像進行腐蝕操作和高斯模糊處理，得到處理后掩膜圖像；

將所述處理后掩膜圖像與所述整合圖像中對應位置的像素值進行相乘，得到第一生成圖像；

將所述處理后掩膜圖像對應的映射圖像與所述人臉圖像中對應位置的像素值進行相乘，得到第二生成圖像；

將所述第一生成圖像和所述第二生成圖像中對應位置的像素值進行相加，得到所述經視線矯正后的人臉圖像。