[發(fā)明專利]一種眼動反應(yīng)信息檢測方法、裝置、移動終端及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201911420251.4
• 申請日: 2019-12-31
• 公開（公告）號: CN111160303B
• 公開（公告）日: 2023-05-02
• 發(fā)明（設(shè)計）人: 周永進;劉英華
• 申請（專利權(quán)）人: 深圳大學(xué)
• 主分類號: G06V40/18
• 分類號: G06V40/18;G06V40/16
• 代理公司: 深圳市君勝知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44268
• 代理人: 王永文

1.一種眼動反應(yīng)信息檢測方法，其特征在于，所述方法：

分別獲取相鄰兩幀的人臉正面圖像，并分別確定出相鄰兩幀的所述人臉正面圖像中的人臉區(qū)域；

標(biāo)記所述人臉區(qū)域中的眼眶位置，并確定出所述人臉區(qū)域中的眼部區(qū)域圖像；

分別將所述人臉區(qū)域中確定出的眼部區(qū)域圖像輸入至預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)模型中進行參數(shù)計算，分別得到相鄰兩幀的所述眼部區(qū)域圖像所對應(yīng)的眼部特征點坐標(biāo)信息；

根據(jù)相鄰兩幀的所述人眼部區(qū)域圖像所對應(yīng)的眼部特征點坐標(biāo)信息，確定眼動反應(yīng)信息，所述眼動反應(yīng)信息用于反映瞳孔在相鄰兩幀的眼部區(qū)域圖像中的變化；

所述神經(jīng)網(wǎng)絡(luò)模型包括28個卷積層、27個歸一化層、27個激活層、5個池化層、5個上采樣層以及1個全連接層，每經(jīng)過一個池化層，特征圖的尺寸縮小為原來的一半，得到一個新的尺度，通過5個池化層逐步減少特征圖的空間維度，每經(jīng)過一個上采樣層，特征圖的尺寸放大為原來的2倍，通過5個上采樣層逐步修復(fù)特征圖的細(xì)節(jié)和空間維度，將經(jīng)上采樣層處理后的特征圖與經(jīng)池化層處理后得到的對應(yīng)尺度的特征圖進行拼接融合，以實現(xiàn)神經(jīng)網(wǎng)絡(luò)對圖像特征的多尺度特征識別，過程中，不斷使用卷積層提取特征，并通過激活層加入非線性因素，全連接層的神經(jīng)元分別與上一層的所有神經(jīng)元相連，整合所提取的特征，將特征圖映射成特征向量；

使用訓(xùn)練集對所建立的神經(jīng)網(wǎng)絡(luò)模型進行訓(xùn)練，損失函數(shù)為計算預(yù)測結(jié)果x_i和真實坐標(biāo)y_i之間誤差的絕對值大小；若誤差大于期望值，則將誤差傳回網(wǎng)絡(luò)，從后往前計算每層網(wǎng)絡(luò)的誤差，更新權(quán)值，當(dāng)訓(xùn)練的loss值不再減少即收斂時，使用測試集測試神經(jīng)網(wǎng)絡(luò)模型檢測眼部特征點坐標(biāo)信息的準(zhǔn)確度，所述損失函數(shù)為：

所述眼動反應(yīng)信息包括：眨眼頻率、當(dāng)前視線方向、眼動反應(yīng)時間，其中，眨眼頻率＝眨眼次數(shù)/時間，若檢測到一次閉眼后在較短時間內(nèi)恢復(fù)為睜眼狀態(tài)，記為一次眨；若EAR小于0.2則判斷為閉眼，否則為睜眼；

其中，

所述當(dāng)前視線方向，通過視線看向屏幕正中時的瞳孔中心點和眼部區(qū)域圖像的特征點的位置對當(dāng)前瞳孔中心點的坐標(biāo)進行校正后，判斷得到；若橫坐標(biāo)大于0，視線偏左，否則偏右；若縱坐標(biāo)大于0，視線偏下，否則偏上；

所述眼動反應(yīng)時間為跟隨左右隨機出現(xiàn)的小球的測試任務(wù)提供的參數(shù)，若當(dāng)前視線方向與小球出現(xiàn)方向一致，記錄該時刻為t，則反應(yīng)時間＝t-小球出現(xiàn)的時刻t0。

2.根據(jù)權(quán)利要求1所述的眼動反應(yīng)信息檢測方法，其特征在于，所述眼動反應(yīng)信息包括：眨眼頻率、當(dāng)前視線方向、眼動反應(yīng)時間，所述眼動反應(yīng)時間是通過結(jié)合測試任務(wù)來對被試者進行監(jiān)測得到的。

3.根據(jù)權(quán)利要求2所述的眼動反應(yīng)信息檢測方法，其特征在于，所述結(jié)合測試任務(wù)來對被試者進行監(jiān)測包括：依據(jù)認(rèn)知心理學(xué)方法的簡單測試，在主動提供刺激的情況下，對被試者的眼動行為進行分析。

4.根據(jù)權(quán)利要求1所述的眼動反應(yīng)信息檢測方法，其特征在于，所述分別確定出相鄰兩幀的所述人臉正面圖像中的人臉區(qū)域分別確定出相鄰兩幀的所述人臉正面圖像中的人臉區(qū)域，包括：

利用OpenCV庫的Haar級聯(lián)人臉分類器對相鄰兩幀的所述人臉正面圖像進行特征篩選，確定出鄰兩幀的所述人臉正面圖像中的人臉區(qū)域。

5.根據(jù)權(quán)利要求1所述的眼動反應(yīng)信息檢測方法，其特征在于，所述標(biāo)記所述人臉區(qū)域中的眼眶位置，并確定出所述人臉區(qū)域中的眼部區(qū)域圖像，包括：

獲取所述人臉區(qū)域中的眼眶位置，并標(biāo)記所述眼眶位置上的多個特征點；

獲取所述多個特征點所圍成的區(qū)域，并根據(jù)所述多個特征點所圍成的區(qū)域確定所述人臉區(qū)域中的眼部區(qū)域圖像；

并標(biāo)記所述眼眶位置上的多個特征點標(biāo)的方式包括：利用dlib庫的68特征點檢測器檢測人眼眼眶上多個特征點。