[發明專利]眼球動作分析方法、裝置及存儲介質

有效

• 申請號: 201710709112.8
• 申請日: 2017-08-17
• 公開（公告）號: CN107679448B
• 公開（公告）日: 2018-09-25
• 發明（設計）人: 陳林;張國輝
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 深圳市沃德知識產權代理事務所(普通合伙) 44347
• 代理人: 于志光;郭夢霞

1.一種電子裝置，其特征在于，所述裝置包括：存儲器、處理器及攝像裝置，所述存儲器中包括眼球動作分析程序，所述眼球動作分析程序被所述處理器執行時實現如下步驟：

實時臉部圖像獲取步驟：獲取攝像裝置拍攝的實時圖像，利用人臉識別算法從該實時圖像中提取一張實時臉部圖像；

特征點識別步驟：將所述實時臉部圖像輸入預先訓練好的眼部平均模型，利用該眼部平均模型識別出該實時臉部圖像中代表眼部位置的n₁個眼眶特征點、n₂個眼球特征點；所述眼部平均模型的訓練步驟包括：建立一個有n張人臉圖像的第一樣本庫，在第一樣本庫中的每張人臉圖像中標記n₁個眼眶特征點、n₂個眼球特征點，每張人臉圖像中的n₁+n₂個特征點組成一個形狀特征向量S，得到眼部的n個形狀特征向量S；利用所述n個形狀特征向量S對人臉特征識別模型進行訓練得到關于人臉的眼部平均模型；

人眼區域識別步驟：根據所述n₁個眼眶特征點、n₂個眼球特征點確定眼部區域，將該眼部區域輸入預先訓練好的人眼分類模型，判斷該眼部區域是否為人眼區域；及

眼球運動判斷步驟：若該眼部區域為人眼區域，根據該實時臉部圖像中n₁個眼眶特征點、n₂個眼球特征點的x、y坐標計算得到該實時臉部圖像中眼球的運動方向及運動距離；

所述人眼分類模型的訓練步驟包括：

收集m張人眼正樣本圖像和m張人眼負樣本圖像；

提取每張人眼正樣本圖像、人眼負樣本圖像的局部特征；及

利用人眼正樣本圖像、人眼睛負樣本圖像及其局部特征對支持向量機分類器進行訓練，得到人眼分類模型；

所述人臉特征識別模型為ERT算法，用公式表示如下：

其中t表示級聯序號，τ_t(·，·)表示當前級的回歸器，為當前模型的形狀估計，每個回歸器τ_t(·，·)根據輸入圖像I和來預測一個增量在模型訓練的過程中，取所有樣本圖像的部分特征點訓練出第一棵回歸樹，將第一棵回歸樹的預測值與所述部分特征點的真實值的殘差用來訓練第二棵樹...依次類推，直到訓練出第N棵樹的預測值與所述部分特征點的真實值接近于0，得到ERT算法的所有回歸樹，根據這些回歸樹得到人臉的眼部平均模型。

2.根據權利要求1所述的電子裝置，其特征在于，所述眼球動作分析程序被所述處理器執行時，還實現如下步驟：

提示步驟：當人眼分類模型判斷該眼部區域不是人眼區域時，提示未從當前實時圖像中檢測到人眼區域、無法判斷眼球運動，流程返回到實時圖像捕獲步驟，捕獲下一張實時圖像。

3.根據權利要求1所述的電子裝置，其特征在于，所述眼球運動判斷步驟包括：

根據所述n₁個眼眶特征點的x、y坐標，計算所述實時臉部圖像中眼眶的中心點坐標；及

通過計算眼眶中心點與眼球特征點的位置關系判斷眼球的運動方向及運動距離。