[發(fā)明專利]眼神捕捉方法及裝置、存儲(chǔ)介質(zhì)、終端

有效

• 申請(qǐng)?zhí)枺?/td>: 202110290851.4
• 申請(qǐng)日: 2021-03-18
• 公開(kāi)（公告）號(hào): CN113192132B
• 公開(kāi)（公告）日: 2022-07-29
• 發(fā)明（設(shè)計(jì)）人: 柴金祥;其他發(fā)明人請(qǐng)求不公開(kāi)姓名
• 申請(qǐng)（專利權(quán)）人: 魔琺（上海）信息科技有限公司;上海墨舞科技有限公司
• 主分類號(hào): G06T7/73
• 分類號(hào): G06T7/73;G06T7/66;G06V40/19;G06T13/40;G06V10/82
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 周書(shū)敏;張振軍

一種眼神捕捉方法及裝置、存儲(chǔ)介質(zhì)、終端，所述眼神捕捉方法，包括：獲取演員的眼部圖像；獲取所述演員的眼部三維信息，根據(jù)所述眼部三維信息確定所述演員的三維眼球，所述眼部三維信息至少包括：眼球中心位置、眼球半徑及虹膜尺寸；根據(jù)所述眼部圖像，采用眼睛網(wǎng)絡(luò)模型和所述三維眼球，確定三維瞳孔中心位置，并根據(jù)所述三維瞳孔中心位置捕捉所述演員的眼神方向。上述方案能夠降低眼神捕捉的成本以及提高用戶體驗(yàn)。

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及眼神捕捉領(lǐng)域，尤其涉及一種眼神捕捉方法及裝置、存儲(chǔ)介質(zhì)、終端。

背景技術(shù)

人臉動(dòng)畫(huà)是當(dāng)前很多熱門應(yīng)用的重要組成部分，比如電影、游戲、虛擬現(xiàn)實(shí)等。目前通常直接捕捉真實(shí)演員的面部并生成虛擬的三維人臉模型。眼睛作為人臉中最能傳達(dá)情感信息的器官，在人臉捕捉技術(shù)中發(fā)揮著至關(guān)重要的作用。能否捕捉到精細(xì)的眼球運(yùn)動(dòng)(即眼神)，是能否準(zhǔn)確傳達(dá)演員的意圖和感受的關(guān)鍵。除此之外，眼神捕捉在智能交互中也發(fā)揮著極其重要的作用，通過(guò)眼神捕捉，可以準(zhǔn)確的捕捉到用戶緊盯的方向，并捕捉到用戶所感興趣的事物。

當(dāng)前的眼神捕捉技術(shù)通常是基于紅外設(shè)備的，用戶需要佩戴特制的眼鏡或者布置特定的紅外設(shè)備。然而，這種眼神捕捉方式給用戶帶來(lái)了極大的不舒適感并且成本很高，且通常要到指定的工作室進(jìn)行采集。基于紅外設(shè)備的技術(shù)，極大的阻礙了眼神捕捉技術(shù)的發(fā)展和推廣。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例解決的技術(shù)問(wèn)題是眼神捕捉的成本較高以及用戶體驗(yàn)差。

為解決上述技術(shù)問(wèn)題，本發(fā)明實(shí)施例提供一種眼神捕捉方法，包括：獲取演員的眼部圖像；獲取所述演員的眼部三維信息，根據(jù)所述眼部三維信息確定所述演員的三維眼球，所述眼部三維信息至少包括：眼球中心位置、眼球半徑及虹膜尺寸；根據(jù)所述眼部圖像，采用眼睛網(wǎng)絡(luò)模型和所述三維眼球，確定三維瞳孔中心位置，并根據(jù)所述三維瞳孔中心位置捕捉所述演員的眼神方向。

可選的，所述根據(jù)所述眼部圖像，采用眼睛網(wǎng)絡(luò)模型和所述三維眼球，確定三維瞳孔中心位置，包括：根據(jù)所述眼部圖像，采用所述眼睛網(wǎng)絡(luò)模型得到眼部二維信息，所述眼部二維信息至少包括：虹膜掩膜、二維瞳孔中心位置及睜閉眼狀態(tài)；根據(jù)所述眼部二維信息和所述三維眼球，確定所述三維瞳孔中心位置。

可選的，所述根據(jù)所述眼部圖像，采用所述眼睛網(wǎng)絡(luò)模型得到眼部二維信息，包括：獲取所述眼部圖像對(duì)應(yīng)的多個(gè)二維眼皮特征點(diǎn)；計(jì)算將所述多個(gè)二維眼皮特征點(diǎn)與多個(gè)預(yù)設(shè)二維眼皮特征點(diǎn)對(duì)齊時(shí)的相似變換矩陣；采用所述相似變換矩陣對(duì)所述眼部圖像進(jìn)行相似變換，得到變換后的圖像；將所述變換后的圖像輸入至所述眼睛網(wǎng)絡(luò)模型，預(yù)測(cè)變換后的圖像對(duì)應(yīng)的眼部二維信息；采用所述相似變換矩陣的逆矩陣，對(duì)所述變換后的圖像對(duì)應(yīng)的眼部二維信息進(jìn)行變換，得到所述眼部圖像對(duì)應(yīng)的眼部二維信息。

可選的，所述根據(jù)所述眼部二維信息和所述三維眼球，確定所述三維瞳孔中心位置，包括：根據(jù)所述三維眼球和預(yù)估三維瞳孔中心位置，得到所述三維眼球的預(yù)估虹膜；將所述預(yù)估虹膜投影至所述眼部圖像對(duì)應(yīng)的二維平面，得到預(yù)估虹膜掩膜；計(jì)算所述預(yù)估虹膜掩膜與所述眼睛網(wǎng)絡(luò)模型預(yù)測(cè)的虹膜掩膜之間的第一差異；根據(jù)所述第一差異計(jì)算得到總差異；若所述總差異不大于預(yù)設(shè)第一閾值，則將所述預(yù)估三維瞳孔中心位置作為所述三維瞳孔中心位置。

可選的，所述眼神捕捉方法，還包括：若所述總差異大于預(yù)設(shè)第一閾值，根據(jù)所述總差異對(duì)所述預(yù)估三維瞳孔中心位置進(jìn)行調(diào)整并迭代優(yōu)化，直至所述總差異不大于預(yù)設(shè)第一閾值或者迭代次數(shù)達(dá)到設(shè)定次數(shù)，將所述總差異不大于預(yù)設(shè)第一閾值或者迭代次數(shù)達(dá)到設(shè)定次數(shù)時(shí)的預(yù)估三維瞳孔中心位置作為所述三維瞳孔中心位置。

可選的，所述根據(jù)所述第一差異計(jì)算得到總差異，包括：將所述預(yù)估虹膜投影至所述眼部圖像對(duì)應(yīng)的二維平面，得到預(yù)估二維瞳孔中心位置；計(jì)算所述預(yù)估二維瞳孔中心位置與所述眼睛網(wǎng)絡(luò)模型預(yù)測(cè)的二維瞳孔中心位置之間的第二差異；根據(jù)所述第一差異及所述第二差異計(jì)算得到所述總差異。