[發明專利]眼睛開閉狀態檢測裝置和方法

在審

• 申請號: 201410227002.4
• 申請日: 2014-05-27
• 公開（公告）號: CN105224285A
• 公開（公告）日: 2016-01-06
• 發明（設計）人: 高書征;王西穎;薛康;王海濤
• 申請（專利權）人: 北京三星通信技術研究有限公司;三星電子株式會社
• 主分類號: G06F9/00
• 分類號: G06F9/00;G06F9/54
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 王艷嬌

技術領域

本申請涉及一種眼睛開閉狀態檢測裝置和方法。更具體地講，涉及一種通過確定檢測眼睛開閉狀態來檢測眨眼的檢測裝置和方法。

背景技術

眼睛是人類獲取外部世界信息的主要窗口，它接受的信息占到大腦接受全部信息的80％～90％。人眼視線跟蹤技術的研究在認知科學、心理學、人機交互等領域意義深遠。

眨眼檢測技術是指通過對人眼運動過程中一些特性的圖像檢測，估計目前眼睛處于閉眼還是睜開的狀態，以及眼睛睜開的程度。隨著視頻處理與視頻監控技術的普及發展，眨眼檢測成為眼睛圖像分析過程中不可缺少的重要部分。例如，在視線估計系統中，需要實時對眼睛圖像進行眨眼檢測，過濾掉閉眼和微睜的圖像，避免視線估計焦點出現較大噪聲和波動；在駕駛監控中，對司機進行眨眼檢測以及眨眼頻率統計分析，對疲勞駕駛情況及時報警；在人機交互過程中，通過眨眼完成觸發事件，實現更加簡易人性化的交互體驗。

目前基于視覺的眨眼檢測方法主要分為：

1)模板匹配法：選擇正常睜開的眼睛圖像的原始圖像信息或者提取的邊緣等特征作為模板，和其他視頻幀匹配并計算相關性。睜開狀態的眼睛圖像相關性高，閉眼狀態的相關性比較低，因此可通過設置閾值將眼睛狀態分為睜眼狀態、閉眼狀態和中間狀態。然而，該方法缺點在于需要手動選取正常睜開的眼睛圖像。

2)眼皮檢測法：通過輔助光源或者在自然光下利用上下眼皮區域圖像灰度均勻的特性，以及眨眼過程中眼皮上下運動等特征直接檢測上下眼皮，根據上下眼皮邊緣的距離判斷眼睛閉眼程度。在該方法中，輔助光源的利用會對使用場景產生限制，另一方面，由于眼皮的分割定位比較困難，通常需要在序列幀圖像中統計上下運動的區域最終確定眼皮，造成計算復雜度增加。

因此，需要一種能夠準確且快速地確定眼睛開閉狀態的裝置及方法。

發明內容

另外的方面和/或優點將在以下描述中被部分闡述，還有部分從描述中將是清楚的，或者可通過本發明的實施而被獲知。

根據本發明的一方面，提供了一種眼睛開閉狀態檢測裝置，包括：眼部區域檢測單元，從目標圖像中檢測包含眼睛的眼部區域；眼睛分割單元，對檢測到的眼部區域進行分割，以提取眼睛圖像；狀態確定單元，基于眼睛圖像中的灰度變化來確定眼睛是處于睜開狀態還是閉眼狀態。

所述眼部區域可以是包含眼睛的矩形區域。

當確定所述矩形眼部區域中的眼睛相對于所述矩形眼部區域處于非水平狀態時，眼部區域檢測單元可基于眼睛傾斜的角度旋轉目標圖像，并可從旋轉后的目標圖像再次檢測包含眼睛的眼部區域。

當確定所述矩形眼部區域中的眼睛相對于所述矩形眼部區域處于非水平狀態時，眼部區域檢測單元可對所述矩形眼部區域進行校正，使得經過校正的矩形眼部區域中的眼睛相對于校正后的矩形眼部區域處于水平狀態。

可使用機器學習算法來訓練所述眼部區域檢測單元，使得當眼部區域檢測單元對目標圖像進行處理時，可從目標圖像中檢測出眼部區域。

所述眼睛分割單元可通過使用高斯膚色模型來確定眼部區域中的每個像素點是否屬于皮膚區域，并可將眼部區域中皮膚區域以外區域的圖像提取為眼睛圖像。

可從眼部區域的四個角點位置中的至少一個位置選擇預定大小的區域作為高斯膚色模型的皮膚樣本來訓練高斯膚色模型。

可從所述眼部區域的上部或下部選擇預定大小的區域作為高斯膚色模型的皮膚樣本來訓練高斯膚色模型。

所述狀態確定單元可通過檢測眼睛圖像中的所有像素的灰度值的分布來確定眼睛是處于睜開狀態還是閉眼狀態。

所述狀態確定單元可計算眼睛圖像的所有像素的灰度值的均方差，當計算的均方差大于或等于預設閾值時，所述狀態確定單元確定眼睛處于睜開狀態，當計算的均方差小于所述預設閾值時，所述狀態確定單元確定眼睛處于閉眼狀態。

所述狀態確定單元可對眼睛圖像進行水平軸投影，計算眼睛圖像中沿與眼睛垂直的方向上的每列像素的列平均灰度以形成列平均灰度曲線，并基于形成的列平均灰度曲線的變化程度確定眼睛是處于睜開狀態還是閉眼狀態。

當所述列平均灰度曲線的變化程度超過預定閾值時，所述狀態確定單元可確定眼睛處于睜開狀態，當所述列平均灰度曲線的變化程度低于所述預定閾值時，所述狀態確定單元可確定眼睛處于閉眼狀態。