[發(fā)明專利]眼球動作分析方法、裝置及存儲介質

有效

• 申請?zhí)枺?/td>: 201710709112.8
• 申請日: 2017-08-17
• 公開（公告）號: CN107679448B
• 公開（公告）日: 2018-09-25
• 發(fā)明（設計）人: 陳林;張國輝
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 深圳市沃德知識產(chǎn)權代理事務所(普通合伙) 44347
• 代理人: 于志光;郭夢霞

本發(fā)明公開了一種眼球動作分析方法、裝置及存儲介質，該方法包括：獲取攝像裝置拍攝的實時圖像，從該實時圖像中提取一張實時臉部圖像；將所述實時臉部圖像輸入預先訓練好的眼部平均模型，識別出該實時臉部圖像中代表眼部位置的n₁個眼眶特征點、n₂個眼球特征點；根據(jù)所述(n₁+n₂)個特征點確定眼部區(qū)域，利用所述人眼分類模型判斷該眼部區(qū)域是否為人眼區(qū)域；若是，根據(jù)該實時臉部圖像中n₁個眼眶特征點、n₂個眼球特征點的x、y坐標計算得到該實時臉部圖像中眼球的運動方向及運動距離。本發(fā)明根據(jù)眼部特征點的坐標計算實時臉部圖像中眼球的運動信息，實現(xiàn)對眼部區(qū)域的分析及對眼球動作的實時捕捉。

技術領域

本發(fā)明涉及計算機視覺處理技術領域，尤其涉及一種眼球動作分析方法、裝置及計算機可讀存儲介質。

背景技術

眼球動作捕捉是基于人的臉部特征信息進行用戶眼部動作識別的一種生物識別技術。目前，眼球動作捕捉的應用領域很廣泛，在金融支付、門禁考勤、身份識別等眾多領域起到非常重要的作用，給人們的生活帶來很大便利。一般產(chǎn)品的做法是使用專業(yè)設備檢測眼球周圍的電場變化，從而實現(xiàn)眼球的捕捉；或者使用攝像機設備，識別虹膜角度的變化，來實現(xiàn)對眼球的跟蹤。

然而，以上兩種做法均存在不足，第一種，需要佩戴專業(yè)設備，對環(huán)境要求十分苛刻。第二種，虹膜檢測時，要求人眼與攝像機的距離較近，并且虹膜檢測速度慢，不適合用在實時情況下。

發(fā)明內(nèi)容

本發(fā)明提供一種眼球動作分析方法、裝置及計算機可讀存儲介質，其主要目的在于根據(jù)眼部特征點的坐標計算實時臉部圖像中眼球的運動信息，實現(xiàn)對眼部區(qū)域的分析及對眼球動作的實時捕捉。

為實現(xiàn)上述目的，本發(fā)明提供一種電子裝置，該裝置包括：存儲器、處理器及攝像裝置，所述存儲器中包括眼球動作分析程序，所述眼球動作分析程序被所述處理器執(zhí)行時實現(xiàn)如下步驟：

實時臉部圖像獲取步驟：獲取攝像裝置拍攝的實時圖像，利用人臉識別算法從該實時圖像中提取一張實時臉部圖像；

特征點識別步驟：將所述實時臉部圖像輸入預先訓練好的眼部平均模型，利用該眼部平均模型識別出該實時臉部圖像中代表眼部位置的n₁個眼眶特征點、n₂個眼球特征點；

人眼區(qū)域識別步驟：根據(jù)所述n₁個眼眶特征點、n₂個眼球特征點確定眼部區(qū)域，將該眼部區(qū)域輸入預先訓練好的人眼分類模型，判斷該眼部區(qū)域是否為人眼區(qū)域；及

眼球運動判斷步驟：若該眼部區(qū)域為人眼區(qū)域，根據(jù)該實時臉部圖像中n₁個眼眶特征點、n₂個眼球特征點的x、y坐標計算得到該實時臉部圖像中眼球的運動方向及運動距離。

可選地，所述眼球動作分析程序被所述處理器執(zhí)行時，還實現(xiàn)如下步驟：

提示步驟：當人眼分類模型判斷該眼部區(qū)域不是人眼區(qū)域時，提示未從當前實時圖像中檢測到人眼區(qū)域、無法判斷眼球運動，流程返回到實時圖像捕獲步驟，捕獲下一張實時圖像。

可選地，所述眼部平均模型的訓練步驟包括：

建立一個有n張人臉圖像的第一樣本庫，在第一樣本庫中的每張人臉圖像中標記n₁個眼眶特征點、n₂個眼球特征點，每張人臉圖像中的該(n₁+n₂)個特征點組成一個形狀特征向量S，得到眼部的n個形狀特征向量S；及

利用所述n個形狀特征向量S對人臉特征識別模型進行訓練得到關于人臉的眼部平均模型。

可選地，所述人眼分類模型的訓練步驟包括：