[發明專利]一種基于多尺度時序圖像的實時眨眼檢測方法

有效

• 申請號: 201810743856.6
• 申請日: 2018-07-06
• 公開（公告）號: CN109101881B
• 公開（公告）日: 2021-08-20
• 發明（設計）人: 肖陽;胡桂雷;曹治國;孟璐斌;熊拂;張博深;姜文祥;王焱乘
• 申請（專利權）人: 華中科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 李智;曹葆青

本發明公開了一種基于多尺度時序圖像的實時眨眼檢測方法，包括：對時序圖像中的第一幀圖像進行定位得到雙眼位置；利用其從第一幀圖像中提取人眼圖像，得到人眼模板；利用人眼模板初始化人眼追蹤器，利用更新后的人眼追蹤器追蹤時序圖像，得到時序人眼圖像，并更新人眼追蹤器，提取處理后的時序人眼圖像的人工描述子，再提取人工描述子的differ特征，并將其和人工描述子串接，得到人眼特征。將人眼特征按照時序編碼成眨眼行為特征熱圖；再將眨眼行為特征熱圖按行逐條輸入LSTM網絡，得到多個隱藏狀態；最后將多個隱藏狀態進行串接得到多尺度時序特征后進行眨眼檢測，判斷時序圖像是否含有眨眼行為。本發明提高了無約束條件下眨眼檢測的正確率和穩定性。

技術領域

本發明屬于數字圖像識別技術領域，更具體地，涉及一種基于多尺度時序圖像的實時眨眼檢測方法。

背景技術

隨著各種智能化的應用設備的普及，通過觀測人的眨眼行為來反應目標當前狀態應成為一種良好的人際交互方式，所以無論是活體驗證，疲勞駕駛檢測，測謊等情形都對其有著很大的需求。

目前的主要的眨眼檢測算法主要分為以下兩種：一種是提取單幀傳統特征(LBP，HOG等)，然后利用分類器(SVM，Adboost等)進行訓練，得出判定當前眼睛的睜閉狀態；另一種就是基于某種啟發式規則進行眨眼檢測，如hough變換檢測瞳孔等。

上述方法存在以下不足之處，對于第一種方法，由于眨眼是一種時序行為，單張圖片的特征判斷眼睛狀態并不能解釋這一行為，同時單張圖片的檢測算法在自然條件下成功率低，魯棒性差。另一種算法是基于某些啟發式規則進行的眨眼檢測，這種算法在無約束條件下存在模型能力不足，極易誤判，并且如檢測連通域中心變化等規則在自然條件下會出現規則崩潰，無法檢測的現象。

發明內容

針對現有技術的以上缺陷或改進需求，本發明提供了一種基于多尺度時序圖像的實時眨眼檢測方法，其目的在于通過引入多幀時序圖像中的時序信息，同時對圖像提取人工描述子，編碼得到眨眼行為特征圖，再考慮不同時序尺度，以提高自然條件下眨眼檢測的正確率和穩定性。由此解決現有技術存在正確率低和穩定性差的技術問題。

為實現上述目的，本發明提供了一種基于多尺度時序圖像的實時眨眼檢測方法，包括：

(1)建立包含人眼的時序圖像的數據庫，對數據庫中時序圖像的第一幀圖像進行定位得到雙眼位置；

(2)利用雙眼位置從第一幀圖像中提取人眼圖像，得到人眼模板；

(3)利用人眼模板初始化人眼追蹤器，利用初始化后的人眼追蹤器追蹤時序圖像中的第一幀圖像的后續幀圖像并更新人眼追蹤器；

(4)利用更新后的人眼追蹤器追蹤時序圖像，得到時序人眼圖像，對時序人眼圖像依次進行灰度化處理和圖像均衡化處理，得到處理后的時序人眼圖像；

(5)提取處理后的時序人眼圖像的人工描述子，提取人工描述子的differ特征，再將differ特征和人工描述子串接，得到人眼特征，之后將人眼特征按照時序信息編碼成一張眨眼行為特征熱圖；

(6)將眨眼行為特征熱圖按行逐條輸入LSTM網絡，得到多個隱藏狀態；

(7)將多個隱藏狀態進行串接得到多尺度時序特征后進行眨眼檢測，判斷時序圖像中是否包含眨眼行為。

進一步地，步驟(1)包括：

利用包含人眼的視頻數據庫建立包含人眼的時序圖像的數據庫，利用人臉對齊算法對數據庫中時序圖像的第一幀圖像進行定位得到雙眼位置。

進一步地，步驟(2)包括：

(2-1)利用雙眼位置，得到雙眼之間的距離，基于雙眼之間的距離確定人眼區域的寬高，得到人眼區域；