[發(fā)明專利]眼球追蹤方法、裝置及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202180001560.7
• 申請日: 2021-04-26
• 公開（公告）號: CN113366491B
• 公開（公告）日: 2022-07-22
• 發(fā)明（設(shè)計）人: 袁麓;張國華;張代齊;鄭爽
• 申請（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06F3/01;G06V10/30;G06K9/62;G06V10/80
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 熊永強;李稷芳

本申請實施例提供一種眼球追蹤方法、裝置及存儲介質(zhì)，包括：將灰度圖像和深度圖像進行預(yù)處理，得到預(yù)設(shè)坐標(biāo)系下的目標(biāo)的灰度?深度圖像；對所述目標(biāo)的灰度?深度圖像進行人頭檢測，以得到所述目標(biāo)的頭部的灰度?深度圖像；對所述目標(biāo)的頭部的灰度?深度圖像進行人臉重建處理，以得到所述目標(biāo)的人臉信息；根據(jù)所述人臉信息得到所述目標(biāo)的瞳孔位置。本方案基于目標(biāo)的灰度圖像和深度圖像得到目標(biāo)的點云，通過進行人頭檢測進而得到目標(biāo)的頭部的點云，根據(jù)目標(biāo)的頭部的點云進行人臉重建處理，進而得到目標(biāo)的瞳孔位置。采用該手段，基于灰度圖像和深度圖像兩個維度的信息對目標(biāo)的人臉進行重建，能夠?qū)崟r獲取精準(zhǔn)的視線起始點。

技術(shù)領(lǐng)域

本申請涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種眼球追蹤方法、裝置及存儲介質(zhì)。

背景技術(shù)

視線估計技術(shù)是人機交互中一種理解人類意圖的重要技術(shù)，可以應(yīng)用于游戲交互、醫(yī)療診斷(心理類疾病)、座艙內(nèi)駕駛員意圖分析等場景。視線起始點(即眼球位置)、視線方向是組成視線估計的兩個重要模塊，這兩個模塊結(jié)合場景環(huán)境的三維建模，可以獲得用戶視線的關(guān)注點(Point of Regard，PoR)，從而更為精準(zhǔn)地了解用戶的意圖，完成交互。

目前在確定眼球位置時使用單目攝像頭來估計視線起始點在三維空間中的位置，其使用先驗和相機成像模型估算人眼與攝像頭距離。采用該技術(shù)，一般在正常駕駛距離情況下，深度誤差在2-3厘米(cm)，其無法滿足更高精度要求的場景，例如車載場景中點亮中控屏。且起始點2-3cm的誤差，會在相應(yīng)的方向上造成預(yù)測到的PoR有較大誤差，尤其是隨著注視物體距離離用戶越遠，視線方向與物體交點與真實值差距會越來越大，這就無法滿足視線與車外物體交互的需求。

目前還有采用深度傳感器的方法來確定眼球位置，其先利用深度數(shù)據(jù)離線做基于優(yōu)化的人臉重建，在部署時，利用該重建的人臉模型與實時獲取的點云數(shù)據(jù)進行迭代最近點算法處理，獲取當(dāng)前的人臉6個自由度的姿態(tài)，從而獲取到眼球的三維位置。采用該技術(shù)，需要離線注冊以獲取用戶的人臉網(wǎng)格信息，同時當(dāng)人臉表情變化幅度較大時迭代最近點算法配準(zhǔn)誤差較大。因此，現(xiàn)有技術(shù)無法應(yīng)對開放的環(huán)境和實際的車載場景。

發(fā)明內(nèi)容

本申請實施例提供一種眼球追蹤方法、裝置及存儲介質(zhì)，以提高眼球追蹤的精度。

第一方面，本申請實施例提供一種眼球追蹤方法，包括：將灰度圖像和深度圖像進行預(yù)處理，得到預(yù)設(shè)坐標(biāo)系下的目標(biāo)的灰度-深度圖像，其中，所述灰度圖像和所述深度圖像中均包含所述目標(biāo)的頭部信息；對所述目標(biāo)的灰度-深度圖像進行人頭檢測，以得到所述目標(biāo)的頭部的灰度-深度圖像；對所述目標(biāo)的頭部的灰度-深度圖像進行人臉重建處理，以得到所述目標(biāo)的人臉信息；根據(jù)所述人臉信息得到所述目標(biāo)的瞳孔位置。

通過本申請實施例，基于目標(biāo)的灰度圖像和深度圖像得到目標(biāo)的灰度-深度圖像，通過進行人頭檢測進而得到目標(biāo)的頭部的灰度-深度圖像，根據(jù)目標(biāo)的頭部的灰度-深度圖像進行人臉重建處理，進而得到目標(biāo)的瞳孔位置。采用該手段，基于灰度圖像和深度圖像兩個維度的信息對目標(biāo)的人臉進行重建，能夠?qū)崟r獲取精準(zhǔn)的視線起始點。

作為一種可選的實現(xiàn)方式，所述對所述目標(biāo)的頭部的灰度-深度圖像進行人臉重建處理，以得到所述目標(biāo)的人臉信息，包括：對所述目標(biāo)的頭部的灰度-深度圖像進行特征提取，得到所述目標(biāo)的灰度特征和深度特征；將所述目標(biāo)的灰度特征和深度特征進行融合處理，得到所述目標(biāo)的人臉模型參數(shù)；根據(jù)所述目標(biāo)的人臉模型參數(shù)得到所述目標(biāo)的人臉信息。

通過融合目標(biāo)的灰度特征和深度特征，得到所述目標(biāo)的人臉模型參數(shù)，進而得到所述目標(biāo)的人臉信息。該目標(biāo)的人臉模型參數(shù)融合了灰度特征和深度特征，和現(xiàn)有技術(shù)中僅包含灰度特征相比，本方案包含的特征更加全面，可有效提高眼球追蹤的精度。

作為一種可選的實現(xiàn)方式，所述對所述目標(biāo)的頭部的灰度-深度圖像進行人臉重建處理是通過人臉重建網(wǎng)絡(luò)模型處理的。