[發明專利]一種眼動反應信息檢測方法、裝置、移動終端及存儲介質

有效

• 申請號: 201911420251.4
• 申請日: 2019-12-31
• 公開（公告）號: CN111160303B
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 周永進;劉英華
• 申請（專利權）人: 深圳大學
• 主分類號: G06V40/18
• 分類號: G06V40/18;G06V40/16
• 代理公司: 深圳市君勝知識產權代理事務所(普通合伙) 44268
• 代理人: 王永文

1.一種眼動反應信息檢測方法，其特征在于，所述方法：

分別獲取相鄰兩幀的人臉正面圖像，并分別確定出相鄰兩幀的所述人臉正面圖像中的人臉區域；

標記所述人臉區域中的眼眶位置，并確定出所述人臉區域中的眼部區域圖像；

分別將所述人臉區域中確定出的眼部區域圖像輸入至預設的神經網絡模型中進行參數計算，分別得到相鄰兩幀的所述眼部區域圖像所對應的眼部特征點坐標信息；

根據相鄰兩幀的所述人眼部區域圖像所對應的眼部特征點坐標信息，確定眼動反應信息，所述眼動反應信息用于反映瞳孔在相鄰兩幀的眼部區域圖像中的變化；

所述神經網絡模型包括28個卷積層、27個歸一化層、27個激活層、5個池化層、5個上采樣層以及1個全連接層，每經過一個池化層，特征圖的尺寸縮小為原來的一半，得到一個新的尺度，通過5個池化層逐步減少特征圖的空間維度，每經過一個上采樣層，特征圖的尺寸放大為原來的2倍，通過5個上采樣層逐步修復特征圖的細節和空間維度，將經上采樣層處理后的特征圖與經池化層處理后得到的對應尺度的特征圖進行拼接融合，以實現神經網絡對圖像特征的多尺度特征識別，過程中，不斷使用卷積層提取特征，并通過激活層加入非線性因素，全連接層的神經元分別與上一層的所有神經元相連，整合所提取的特征，將特征圖映射成特征向量；

使用訓練集對所建立的神經網絡模型進行訓練，損失函數為計算預測結果x_i和真實坐標y_i之間誤差的絕對值大小；若誤差大于期望值，則將誤差傳回網絡，從后往前計算每層網絡的誤差，更新權值，當訓練的loss值不再減少即收斂時，使用測試集測試神經網絡模型檢測眼部特征點坐標信息的準確度，所述損失函數為：

所述眼動反應信息包括：眨眼頻率、當前視線方向、眼動反應時間，其中，眨眼頻率＝眨眼次數/時間，若檢測到一次閉眼后在較短時間內恢復為睜眼狀態，記為一次眨；若EAR小于0.2則判斷為閉眼，否則為睜眼；

其中，

所述當前視線方向，通過視線看向屏幕正中時的瞳孔中心點和眼部區域圖像的特征點的位置對當前瞳孔中心點的坐標進行校正后，判斷得到；若橫坐標大于0，視線偏左，否則偏右；若縱坐標大于0，視線偏下，否則偏上；

所述眼動反應時間為跟隨左右隨機出現的小球的測試任務提供的參數，若當前視線方向與小球出現方向一致，記錄該時刻為t，則反應時間＝t-小球出現的時刻t0。

2.根據權利要求1所述的眼動反應信息檢測方法，其特征在于，所述眼動反應信息包括：眨眼頻率、當前視線方向、眼動反應時間，所述眼動反應時間是通過結合測試任務來對被試者進行監測得到的。

3.根據權利要求2所述的眼動反應信息檢測方法，其特征在于，所述結合測試任務來對被試者進行監測包括：依據認知心理學方法的簡單測試，在主動提供刺激的情況下，對被試者的眼動行為進行分析。

4.根據權利要求1所述的眼動反應信息檢測方法，其特征在于，所述分別確定出相鄰兩幀的所述人臉正面圖像中的人臉區域分別確定出相鄰兩幀的所述人臉正面圖像中的人臉區域，包括：

利用OpenCV庫的Haar級聯人臉分類器對相鄰兩幀的所述人臉正面圖像進行特征篩選，確定出鄰兩幀的所述人臉正面圖像中的人臉區域。

5.根據權利要求1所述的眼動反應信息檢測方法，其特征在于，所述標記所述人臉區域中的眼眶位置，并確定出所述人臉區域中的眼部區域圖像，包括：

獲取所述人臉區域中的眼眶位置，并標記所述眼眶位置上的多個特征點；

獲取所述多個特征點所圍成的區域，并根據所述多個特征點所圍成的區域確定所述人臉區域中的眼部區域圖像；

并標記所述眼眶位置上的多個特征點標的方式包括：利用dlib庫的68特征點檢測器檢測人眼眼眶上多個特征點。