[發(fā)明專利]人臉圖像的視線矯正方法、裝置、設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202110089871.5
• 申請日: 2021-01-22
• 公開（公告）號: CN112733797B
• 公開（公告）日: 2021-10-08
• 發(fā)明（設(shè)計）人: 彭瑾龍;賀珂珂;蔣正鍇;易陽;余曉銘;涂娟輝;周易;劉程浩;王亞彪;邰穎;汪鋮杰;李季檁;黃飛躍
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京三高永信知識產(chǎn)權(quán)代理有限責任公司 11138
• 代理人: 祝亞男

本申請公開了一種人臉圖像的視線矯正方法、裝置、設(shè)備及存儲介質(zhì)，涉及人工智能技術(shù)領(lǐng)域。所述方法包括：從人臉圖像中獲取待矯正眼部圖像；基于待矯正眼部圖像，生成眼部運動流場和眼部輪廓掩碼；基于眼部運動流場和眼部輪廓掩碼，對待矯正眼部圖像進行視線矯正處理，生成矯正后眼部圖像；基于矯正后眼部圖像，生成經(jīng)視線矯正后的人臉圖像。本申請直接根據(jù)輸入的待矯正眼部圖像端到端生成矯正后眼部圖像，不需要知道頭部姿態(tài)角，大大降低了耗時并提高了矯正準確度，使得視線矯正功能真正達到了實際可用的標準，適用于視頻會議、視頻通話、視頻直播等場景。

技術(shù)領(lǐng)域

本申請實施例涉及人工智能技術(shù)領(lǐng)域，特別涉及一種人臉圖像的視線矯正方法、裝置、設(shè)備及存儲介質(zhì)。

背景技術(shù)

人的眼睛是最能傳神的器官，視線矯正旨在將人眼的視線矯正為任意指定的方向。

在相關(guān)技術(shù)中，首先估計出頭部姿態(tài)角，在通過頭部偏移方向與正視攝像頭之間的夾角來估計視線需要矯正的度數(shù)，并根據(jù)該度數(shù)修正眼球位置，從而實現(xiàn)視線矯正。

但是，上述流程中存在多個步驟的參數(shù)計算，一方面流程耗時較高，另一方面每一個步驟的參數(shù)計算都會存在誤差，整個流程下來誤差會累積放大，導(dǎo)致最終結(jié)果的準確度不高。

發(fā)明內(nèi)容

本申請實施例提供了一種人臉圖像的視線矯正方法、裝置、設(shè)備及存儲介質(zhì)，提供了一種高效且準確性更高的視線矯正方案。所述技術(shù)方案如下：

根據(jù)本申請實施例的一個方面，提供了一種人臉圖像的視線矯正方法，所述方法包括：

從人臉圖像中獲取待矯正眼部圖像；

基于所述待矯正眼部圖像，生成眼部運動流場和眼部輪廓掩碼；其中，所述眼部運動流場用于調(diào)整所述待矯正眼部圖像中的像素位置，所述眼部輪廓掩碼用于指示所述待矯正眼部圖像中的像素位置屬于眼部區(qū)域的概率；

基于所述眼部運動流場和所述眼部輪廓掩碼，對所述待矯正眼部圖像進行視線矯正處理，生成矯正后眼部圖像；

基于所述矯正后眼部圖像，生成經(jīng)視線矯正后的人臉圖像。

根據(jù)本申請實施例的一個方面，提供了一種視線矯正模型的訓(xùn)練方法，所述方法包括：

獲取視線矯正模型的訓(xùn)練樣本，所述訓(xùn)練樣本包括待矯正眼部圖像樣本和目標矯正眼部圖像；

通過所述視線矯正模型對所述待矯正眼部圖像樣本進行處理，輸出所述待矯正眼部圖像樣本對應(yīng)的眼部運動流場和眼部輪廓掩碼；其中，所述眼部運動流場用于調(diào)整所述待矯正眼部圖像樣本中的像素位置，所述眼部輪廓掩碼用于指示所述待矯正眼部圖像樣本中的像素位置屬于眼部區(qū)域的概率；

基于所述眼部運動流場和所述眼部輪廓掩碼，對所述待矯正眼部圖像樣本進行視線矯正處理，生成矯正后眼部圖像樣本；

基于所述矯正后眼部圖像樣本和所述目標矯正眼部圖像，確定所述視線矯正模型的損失，并基于所述損失對所述視線矯正模型的參數(shù)進行調(diào)整。

根據(jù)本申請實施例的一個方面，提供了一種人臉圖像的視線矯正裝置，所述裝置包括：

眼部圖像獲取模塊，用于從人臉圖像中獲取待矯正眼部圖像；

流場掩碼生成模塊，用于基于所述待矯正眼部圖像，生成眼部運動流場和眼部輪廓掩碼；其中，所述眼部運動流場用于調(diào)整所述待矯正眼部圖像中的像素位置，所述眼部輪廓掩碼用于指示所述待矯正眼部圖像中的像素位置屬于眼部區(qū)域的概率；

視線矯正處理模塊，用于基于所述眼部運動流場和所述眼部輪廓掩碼，對所述待矯正眼部圖像進行視線矯正處理，生成矯正后眼部圖像；

眼部圖像整合模塊，用于基于所述矯正后眼部圖像，生成經(jīng)視線矯正后的人臉圖像。