[發(fā)明專利]管制員狀態(tài)檢測方法、裝置及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201910162905.1
• 申請日: 2019-03-05
• 公開（公告）號: CN110069979A
• 公開（公告）日: 2019-07-30
• 發(fā)明（設計）人: 陸峰;楊澤;趙沁平
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 鈄颯颯;劉芳

本發(fā)明提供一種管制員狀態(tài)檢測方法、裝置及系統(tǒng)，該方法，包括：采集管制員的初始圖像，處理后獲得輸入圖像；將所述輸入圖像輸入人臉模型，匹配獲得所述管制員的人臉特征點；將所述人臉特征點與三維頭部模型匹配，得到頭部位置姿態(tài)數據；根據所述人臉特征點，通過幾何計算獲得眨眼信息；將所述人臉特征點輸入表情檢測模型，獲得面部表情信息；根據所述頭部位置姿態(tài)數據、面部表情信息以及眨眼信息，判斷所述管制員是否出現(xiàn)疲勞狀態(tài)和/或者是否專心等，以提高管制員狀態(tài)檢測的高效性、準確性，同時降低了檢測設備的成本。

技術領域

本發(fā)明涉及計算機識別技術領域，尤其涉及一種管制員狀態(tài)檢測方法、裝置及系統(tǒng)。

背景技術

隨著航空飛行器的快速發(fā)展，飛行器也隨之越來越多，為保證安全和有序的飛行，空中交通管制員需要利用通信、導航技術和監(jiān)控手段對飛行器飛行活動進行監(jiān)視并依據具體情況發(fā)出對應指令，分秒的疏忽會造成不可挽回的后果。因此對管制員的精神狀態(tài)具有較高的要求。

目前，為保持管制員工作中飽滿的精神狀態(tài)，主要依靠規(guī)章制度以及工作時間的安排來實現(xiàn)，例如管制員工作時長一般不超過1小時，同一個席位的工作需要由兩位管制員共同完成、由領班負責協(xié)調和監(jiān)管管制員的工作狀態(tài)等等，這種監(jiān)管方法除了檢測效率不高，還不利于及時發(fā)現(xiàn)問題。

雖然隨著空管新技術新設備的不斷引進，通過給管制員佩戴相應的傳感器來測量其心跳、皮電等，間接檢測管制員的精神狀態(tài)，這些儀器設備的佩戴對管制員的心理造成很大影響。即使利用眼動儀或其他設備采集來分析管制員工作時的眼動行為等對管制員疲勞狀態(tài)進行測量，但這些設備需要占用一定空間且成本較高，另因檢測設備系統(tǒng)未開源、計算需求較大等缺點，導致對管制員狀態(tài)監(jiān)測精準度不佳。

發(fā)明內容

本發(fā)明提供一種管制員狀態(tài)檢測方法、裝置及系統(tǒng)，以提高管制員狀態(tài)檢測的高效性、準確性，同時降低了檢測設備的成本。

第一方面，本發(fā)明實施例提供的一種管制員狀態(tài)檢測方法，包括：

采集管制員的初始圖像，處理后獲得輸入圖像；

將所述輸入圖像輸入人臉模型，匹配獲得所述管制員的人臉特征點；

將所述人臉特征點與三維頭部模型匹配，得到頭部位置姿態(tài)數據；

根據所述人臉特征點，通過幾何計算獲得眨眼信息；

將所述人臉特征點輸入表情檢測模型，獲得面部表情信息；

根據所述頭部位置姿態(tài)數據、面部表情信息以及眨眼信息，判斷所述管制員是否出現(xiàn)疲勞狀態(tài)和/或者是否專心。

在一種可能的設計中，采集管制員的初始圖像，包括：

利用攝像頭實時采集所述管制員的初始視頻，按幀讀取所述初始視頻中的初始圖像。

在一種可能的設計中，所述人臉模型包括：卷積專家局部約束支路、卷積專家網絡響應圖計算支路、點分布模型的形狀參數更新支路；其中：

所述卷積專家局部約束支路用于根據人臉對應的像素區(qū)域，檢測得到與單個人臉特征點位置對齊的概率響應圖；

所述卷積專家網絡響應圖計算支路用于根據所述概率響應圖，計算得到人臉特征點的三維位置坐標；

所述點分布模型的形狀參數更新支路用于對所述人臉特征點的三維位置坐標進行優(yōu)化，得到管制員的人臉特征點。

在一種可能的設計中，將所述人臉特征點與三維頭部模型匹配，得到頭部位置姿態(tài)數據，包括：

將所述人臉特征點的三維位置坐標代入所述三維頭部模型的優(yōu)化函數，利用最小二乘法經過多個人臉特征點的位置坐標迭代后，獲得所述優(yōu)化函數中頭部位置最優(yōu)參數，得到頭部位置姿態(tài)數據。