[發明專利]一種飛行員操作狀態識別方法及電子設備

在審

• 申請號: 202310405978.5
• 申請日: 2023-04-17
• 公開（公告）號: CN116434275A
• 公開（公告）日: 2023-07-14
• 發明（設計）人: 錢程;任炳軒;王臻;傅山
• 申請（專利權）人: 上海交通大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/25;G06T7/194;G06T7/136;G06T7/11;G06T7/50;G06N20/00
• 代理公司: 上海伯瑞杰知識產權代理有限公司 31227
• 代理人: 孟旭彤

本發明公開了一種飛行員操作狀態識別方法，通過經過訓練的識別模型，識別位于飛機駕駛艙內的飛行員的手部動作變化，判斷飛行員的操作狀態。識別模型的構建步驟包括：通過深度圖背景建模，分割識別駕駛艙飛行員的身體圖像區域；通過區域生長算法在身體圖像區域內確定飛行員手部位置，得到包含手部的ROI區域；通過手部檢測模型在ROI區域確定飛行員手部，并對手部關鍵點進行標注；結合顏色和距離特征，對飛行員手部輪廓識別分割；根據對飛行員手部關鍵點坐標的特征變化，判斷飛行員的操作狀態。

技術領域

本發明屬于航空飛行控制領域，特別涉及一種飛行員操作狀態識別方法及電子設備。

背景技術

隨著航空技術的發展，民航事故的數量和頻率逐年下降，由機械故障引起的飛行事故已從80％下降到20％以下。但根據現有的航空事故統計數據顯示，在飛行事故中，與機組人員失誤有關的民航飛行事故比例超過70％，包括機組人員失誤在內的人為因素已成為飛機失事的主要原因。因此可以這么認為，絕大多數的航空安全問題都與人為錯誤有關。人為錯誤已經取代機械故障成為航空事故的主要原因，這使得人為因素越來越受到關注。

發明內容

本公開實施例之一，一種駕駛艙飛行員手部檢測和行為分析方法，包括以下步驟：

1)通過深度圖的無人背景建模，有人場景與無人背景差分，閾值分割方法，分割出深度圖像中的身體區域。

2)通過以身體上某一點作為種子點進行區域生長算法找到手部的位置，得到包含手部的正方形ROI區域。

3)根據ROI區域對結果進行篩選過濾改進。

2)通過改進的區域生長算法，結合多顏色空間和改進的距離度量，實現彩色圖中的ROI區域實現手部輪廓的分割。

5)通過實現劃分駕駛艙駕駛儀表器件區域，利用手部關鍵點坐標或器件區域特征變化，可以判斷飛行員的操作狀態。

本公開實施例，實現了在飛機駕駛艙復雜場景中，對于駕駛飛行員手部的自動檢測，以及由此對飛行員駕駛狀態的實時監測，用以識別、避免飛行員可能出現的操作錯誤。

附圖說明

通過參考附圖閱讀下文的詳細描述，本發明示例性實施方式的上述以及其他目的、特征和優點將變得易于理解。在附圖中，以示例性而非限制性的方式示出了本發明的若干實施方式，其中：

圖1根據本發明實施例之一的飛行員操作狀態識別方法示意圖。

圖2根據本發明實施例之一的駕駛艙背景建模、背景差分、提取身體輪廓的示例圖。

圖3根據本發明實施例之一的對mediapipe模型優化效果示例圖。

圖4根據本發明實施例之一的手部輪廓分割效果示例圖。

圖5根據本發明實施例之一的飛行員操作狀態分析示意圖。

具體實施方式

航空飛行駕駛中的人為錯誤，最直接表現是飛行員的行為錯誤。這其中的研究內容，與駕駛艙的人機交互問題密切相關。在駕駛艙內，機組人員的所有身體行為中，手部動作是最明顯、最有意義、最有研究價值的，也是相對容易獲得行為信息的。對飛行員手部動作的研究可以為優化駕駛艙設計、驗證機組最低適航規定、人機工程分析和評估、提高飛行質量、減少飛行員錯誤和誤操作提供理論支持。因此，手部檢測作為一種重要的行為分析方法，具有很高的研究價值。

然而，在駕駛艙的復雜環境中，由于飛機駕駛艙內復雜的光照和背景，普通的手部檢測方法的準確性很差。目前關于手部圖像檢測中手部分割的問題解決，主要集中在皮膚顏色閾值分割、像素聚類、前景和背景分割、區域增長等技術方案上，但上述每種技術方案都存在不同的問題，包括計算速度、場景適應性和檢測精度。