[發明專利]基于卷積神經網絡的眼部特征檢測方法，裝置及識別系統

在審

• 申請號: 201611252992.2
• 申請日: 2016-12-30
• 公開（公告）號: CN106650688A
• 公開（公告）日: 2017-05-10
• 發明（設計）人: 孟春寧;趙雪鵬;陶建平
• 申請（專利權）人: 公安海警學院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/08
• 代理公司: 廣州市南鋒專利事務所有限公司44228
• 代理人: 張小黎

1.一種基于卷積神經網絡的眼部特征檢測方法，其特征在于，包括如下步驟：

接收待檢測的眼部圖像；

基于神經網絡對所述眼部圖像上的特征點進行估計，以從所述眼部圖像中提取出所需的特定點；其中，在神經網絡訓練時，所述神經網絡的訓練樣本的特征點根據預設的幾何約束關系進行標定；

輸出包含有提取到的所述特征點的眼部圖像。

2.根據權利要求1所述的眼部特征檢測方法，其特征在于，所述特征點包括外眼角點、內眼角點、上眼瞼中心點及下眼瞼中心點。

3.根據權利要求2所述的眼部特征檢測方法，其特征在于，所述幾何約束關系為：

上眼瞼中心點與下眼瞼中心點位于眼瞼邊緣上，且上眼瞼中心點與下眼瞼中心點的連線通過外眼角點與內眼角點的連線中點，并垂直于水平線。

4.根據權利要求2所述的眼部特征檢測方法，其特征在于，所述幾何約束關系為：

上眼瞼中心點與下眼瞼中心點位于眼瞼邊緣上，且上眼瞼中心點與下眼瞼中心點的連線為外眼角點與內眼角點的連線的垂直平分線。

5.根據權利要求1所述的眼部特征檢測方法，其特征在于，還包括：

在神經網絡訓練時，根據為每個特征點配置的局部區域的尺寸，對標定的特征點的坐標進行局部歸一化。

6.根據權利要求1至5任意一項所述的眼部特征檢測方法，其特征在于，所述基于神經網絡對所述眼部圖像上的特征點進行估計，以從所述眼部圖像中提取出所需的特定點，具體為：

基于神經網絡對所述眼部圖像上的左眼的特征點和右眼的特征點同時進行估計，以從所述眼部圖像中提取出所需的特定點；

則在輸出包含有提取到的所述特征點的眼部圖像之前，還包括：

將左眼圖像擴充到右眼圖像數據中。

7.根據權利要求1至5任意一項所述的眼部特征檢測方法，其特征在于，所述卷積神經網絡的數目為一個。

8.一種基于卷積神經網絡的眼部特征檢測裝置，其特征在于，包括：

輸入模塊，用于接收待檢測的眼部圖像；

特征點提取模塊，用于基于神經網絡對所述眼部圖像上的特征點進行估計，以從所述眼部圖像中提取出所需的特定點；其中，在神經網絡訓練時，所述神經網絡的訓練樣本的特征點根據預設的幾何約束關系進行標定；

輸出模塊，用于輸出包含有提取到的所述特征點的眼部圖像。

9.根據權利要求8所述的眼部特征檢測裝置，其特征在于，還包括：

局部歸一化模塊，用于在神經網絡訓練時，根據為每個特征點配置的局部區域的尺寸，對標定出的特征點的坐標進行局部歸一化。

10.一種識別系統，其特征在于，包括采集單元、識別單元以及如權利要求8或9所述的眼部特征檢測裝置；其中：

所述采集單元，用于采集目標對象的N幀連續的面部圖像，并提取每幀面部圖像中的眼部圖像；其中，N為大于2的整數；

所述眼部特征檢測裝置，用于提取每幀眼部圖像中的特征點，生成N幀包含有特征點的眼部圖像；

所述識別單元，用于根據生成的N幀包含有特征點的眼部圖像，獲得所述目標對象在每幀眼部圖像中的眼部狀態變化，并根據所述目標對象的眼部狀態變化情況，識別所述目標對象的疲勞度。