[發明專利]眼神捕捉方法及裝置、存儲介質、終端

有效

• 申請號: 202110290851.4
• 申請日: 2021-03-18
• 公開（公告）號: CN113192132B
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 柴金祥;其他發明人請求不公開姓名
• 申請（專利權）人: 魔琺（上海）信息科技有限公司;上海墨舞科技有限公司
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/66;G06V40/19;G06T13/40;G06V10/82
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 周書敏;張振軍

1.一種眼神捕捉方法，其特征在于，包括：

獲取演員的眼部圖像；

獲取所述演員的眼部三維信息，根據所述眼部三維信息確定所述演員的三維眼球，所述眼部三維信息至少包括：眼球中心位置、眼球半徑及虹膜尺寸；

根據所述眼部圖像，采用眼睛網絡模型和所述三維眼球，確定三維瞳孔中心位置，并根據所述三維瞳孔中心位置捕捉所述演員的眼神方向；

其中，所述根據所述眼部圖像，采用眼睛網絡模型和所述三維眼球，確定三維瞳孔中心位置，包括：

根據所述眼部圖像，采用所述眼睛網絡模型得到眼部二維信息，所述眼部二維信息至少包括：虹膜掩膜、二維瞳孔中心位置及睜閉眼狀態，所述虹膜掩膜用于表征二維瞳孔的信息；

根據所述眼部二維信息和所述三維眼球，確定所述三維瞳孔中心位置；

所述根據所述眼部二維信息和所述三維眼球，確定所述三維瞳孔中心位置，包括：

根據所述三維眼球和預估三維瞳孔中心位置，得到所述三維眼球的預估虹膜；

將所述預估虹膜投影至所述眼部圖像對應的二維平面，得到預估虹膜掩膜；計算所述預估虹膜掩膜與所述眼睛網絡模型預測的虹膜掩膜之間的第一差異；

根據所述第一差異計算得到總差異；

若所述總差異不大于預設第一閾值，則將所述預估三維瞳孔中心位置作為所述三維瞳孔中心位置。

2.如權利要求1所述的眼神捕捉方法，其特征在于，所述根據所述眼部圖像，采用所述眼睛網絡模型得到眼部二維信息，包括：

獲取所述眼部圖像對應的多個二維眼皮特征點；

計算將所述多個二維眼皮特征點與多個預設二維眼皮特征點對齊時的相似變換矩陣；

采用所述相似變換矩陣對所述眼部圖像進行相似變換，得到變換后的圖像；將所述變換后的圖像輸入至所述眼睛網絡模型，預測變換后的圖像對應的眼部二維信息；

采用所述相似變換矩陣的逆矩陣，對所述變換后的圖像對應的眼部二維信息進行變換，得到所述眼部圖像對應的眼部二維信息。

3.如權利要求1所述的眼神捕捉方法，其特征在于，還包括：

若所述總差異大于預設第一閾值，根據所述總差異對所述預估三維瞳孔中心位置進行調整并迭代優化，直至所述總差異不大于預設第一閾值或者迭代次數達到設定次數，將所述總差異不大于預設第一閾值或者迭代次數達到設定次數時的預估三維瞳孔中心位置作為所述三維瞳孔中心位置。

4.如權利要求1或3所述的眼神捕捉方法，其特征在于，所述根據所述第一差異計算得到總差異，包括：

將所述預估虹膜投影至所述眼部圖像對應的二維平面，得到預估二維瞳孔中心位置；

計算所述預估二維瞳孔中心位置與所述眼睛網絡模型預測的二維瞳孔中心位置之間的第二差異；

根據所述第一差異及所述第二差異計算得到所述總差異。

5.如權利要求4所述的眼神捕捉方法，其特征在于，所述根據所述第一差異和第二差異計算得到總差異，包括：

計算當前迭代優化的三維瞳孔中心位置與優化初始時的三維瞳孔中心位置之間的第三差異；

根據所述第一差異、所述第二差異及所述第三差異，計算得到所述總差異。

6.如權利要求1所述的眼神捕捉方法，其特征在于，所述計算預估虹膜掩膜與所述眼睛網絡模型預測的虹膜掩膜之間的第一差異，包括：

計算所述預估虹膜掩膜與所述眼睛網絡模型預測的虹膜掩膜的交集部分，以及所述預估虹膜掩膜與所述眼睛網絡模型預測的虹膜掩膜的并集部分，將所述交集部分與所述并集部分的比值與理想比值的差異作為所述第一差異；

或者，根據所述眼睛網絡模型預測的虹膜掩膜的生成距離變換圖，計算所述預估虹膜掩膜的邊緣像素在所述距離變換圖中的值，根據計算得到的值得到所述第一差異。

7.如權利要求1所述的眼神捕捉方法，其特征在于，所述獲取所述演員的眼部三維信息，包括：通過眼球校準獲得所述眼球中心位置、眼球半徑及虹膜尺寸。