[發明專利]管制員狀態檢測方法、裝置及系統

在審

• 申請號: 201910162905.1
• 申請日: 2019-03-05
• 公開（公告）號: CN110069979A
• 公開（公告）日: 2019-07-30
• 發明（設計）人: 陸峰;楊澤;趙沁平
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 鈄颯颯;劉芳

1.一種管制員狀態檢測方法，其特征在于，包括：

采集管制員的初始圖像，處理后獲得輸入圖像；

將所述輸入圖像輸入人臉模型，匹配獲得所述管制員的人臉特征點；

將所述人臉特征點與三維頭部模型匹配，得到頭部位置姿態數據；

根據所述人臉特征點，通過幾何計算獲得眨眼信息；

將所述人臉特征點輸入表情檢測模型，獲得面部表情信息；

根據所述頭部位置姿態數據、面部表情信息以及眨眼信息，判斷所述管制員是否出現疲勞狀態和/或者是否專心。

2.根據權利要求1所述的方法，其特征在于，采集管制員的初始圖像，包括：

利用攝像頭實時采集所述管制員的初始視頻，按幀讀取所述初始視頻中的初始圖像。

3.根據權利要求1所述的方法，其特征在于，所述人臉模型包括：卷積專家局部約束支路、卷積專家網絡響應圖計算支路、點分布模型的形狀參數更新支路；其中：

所述卷積專家局部約束支路用于根據人臉對應的像素區域，檢測得到與單個人臉特征點位置對齊的概率響應圖；

所述卷積專家網絡響應圖計算支路用于根據所述概率響應圖，計算得到人臉特征點的三維位置坐標；

所述點分布模型的形狀參數更新支路用于對所述人臉特征點的三維位置坐標進行優化，得到管制員的人臉特征點。

4.根據權利要求1所述的方法，其特征在于，將所述人臉特征點與三維頭部模型匹配，得到頭部位置姿態數據，包括：

將所述人臉特征點的三維位置坐標代入所述三維頭部模型的優化函數，利用最小二乘法經過多個人臉特征點的位置坐標迭代后，獲得所述優化函數中頭部位置最優參數，得到頭部位置姿態數據。

5.根據權利要求1所述的方法，其特征在于，根據所述人臉特征點，通過幾何計算獲得眨眼信息，包括：

根據人眼的二維位置坐標運算得到所述人眼的縱橫比值，按照預設時間段分別計算所述縱橫比值的最大值和最小值，進而得到所述最大值與最小值的平均值，獲得眨眼動作以及所述眨眼動作對應的眨眼信息，其中所述眨眼信息包括：眨眼次數、眨眼頻率、眨眼間隔以及眼睛閉合信息。

6.根據權利要求1所述的方法，其特征在于，將所述人臉特征點輸入表情檢測模型，獲得面部表情信息，包括：

根據所述人臉特征點標出人臉位置，并通過所述表情檢測模型的局部約束神經場的檢測支路將所述人臉特征點分布模型參數轉化為幾何特征；

根據所述幾何特征獲得對應的區域圖像，將所述區域圖像劃分成多個小圖像，統計每個所述小圖像對應的梯度直方圖，選擇其中多個所述小圖像作為一組圖像，將所述區域圖像內所有組的圖像對應的特征串聯，得到特征向量；

將所述特征向量輸入所述表情檢測模型的識別支路進行表情分類，得到所述面部表情信息。

7.根據權利要求1所述的方法，其特征在于，根據所述頭部位置姿態數據、面部表情信息以及眨眼信息，判斷所述管制員是否出現疲勞狀態和/或者是否專心，包括：

按照預設規則進行分析，若所述頭部位置姿態數據、面部表情信息以及眨眼信息中任一大于預設閾值，則判斷所述管制員出現疲勞狀態和/或者不專心；

若所述頭部位置姿態數據、面部表情信息以及眨眼信息均小于預設閾值，則判斷所述管制員未出現疲勞狀態和/或者專心。

8.根據權利要求7所述的方法，其特征在于，判斷所述管制員出現疲勞狀態和/或者不專心，包括：

若所述頭部位置姿態數據、面部表情信息以及眨眼信息中任多分別大于預設閾值，則判斷所述管制員出現疲勞狀態和/或者不專心。