[發(fā)明專利]一種飛行員操作狀態(tài)識別方法及電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202310405978.5
• 申請日: 2023-04-17
• 公開（公告）號: CN116434275A
• 公開（公告）日: 2023-07-14
• 發(fā)明（設(shè)計）人: 錢程;任炳軒;王臻;傅山
• 申請（專利權(quán)）人: 上海交通大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/25;G06T7/194;G06T7/136;G06T7/11;G06T7/50;G06N20/00
• 代理公司: 上海伯瑞杰知識產(chǎn)權(quán)代理有限公司 31227
• 代理人: 孟旭彤

1.一種飛行員操作狀態(tài)識別方法，其特征在于，該方法通過經(jīng)過訓練的識別模型，識別位于飛機駕駛艙內(nèi)的飛行員的手部動作變化，判斷飛行員的操作狀態(tài)。

2.根據(jù)權(quán)利要求1所述的飛行員操作狀態(tài)識別方法，其特征在于，所述識別模型的構(gòu)建步驟包括：

S100，通過深度圖背景建模，分割識別駕駛艙飛行員的身體圖像區(qū)域；

S200,通過區(qū)域生長算法在身體圖像區(qū)域內(nèi)確定飛行員手部位置，得到包含手部的ROI區(qū)域；

S300，通過手部檢測模型在ROI區(qū)域確定飛行員手部，并對手部關(guān)鍵點進行標注；

S400，結(jié)合顏色和距離特征，對飛行員手部輪廓識別分割；

S500，根據(jù)對飛行員手部關(guān)鍵點坐標的特征變化，判斷飛行員的操作狀態(tài)。

3.根據(jù)權(quán)利要求2所述的飛行員操作狀態(tài)識別方法，其特征在于，所述步驟S500，還包括對飛行駕駛儀表區(qū)域進行識別，結(jié)合飛行員手部關(guān)鍵點坐標和/或駕駛儀表區(qū)域特征變化，判斷飛行員的操作狀態(tài)。

4.根據(jù)權(quán)利要求2所述的飛行員操作狀態(tài)識別方法，其特征在于，所述步驟S100中，使用無遮擋的駕駛艙場景的深度圖像進行背景建模，并使用中值濾波器來去除噪音和平滑圖像，應用背景減法來提取飛行員手臂的區(qū)域。

5.根據(jù)權(quán)利要求4所述的飛行員操作狀態(tài)識別方法，其特征在于，所述步驟S200中，在深度圖像上使用區(qū)域增長算法，找到飛行員手臂頂部的位置，將包括手部在內(nèi)的感興趣區(qū)域ROI分割出來。

6.根據(jù)權(quán)利要求5所述的飛行員操作狀態(tài)識別方法，其特征在于，所述步驟S300中，在手部檢測模型中，標注手部的關(guān)鍵點包括，手部三維關(guān)節(jié)坐標點。

7.根據(jù)權(quán)利要求6所述的飛行員操作狀態(tài)識別方法，其特征在于，所述步驟S400中，通過結(jié)合多個色彩空間的信息進行區(qū)域增長，包括YCbCr空間和RGB空間共五個通道。

8.根據(jù)權(quán)利要求4所述的飛行員操作狀態(tài)識別方法，其特征在于，所述步驟S100中，具體包括，

S101，建立駕駛艙深度圖像的無人背景；

S102，將有人場景與無人背景差分，排除背景影響；

S103，采用閾值分割方法，分割出深度圖像中的飛行員身體區(qū)域。

9.根據(jù)權(quán)利要求8所述的飛行員操作狀態(tài)識別方法，其特征在于，所述步驟S200還包括，

S201，通過深度圖像的區(qū)域生長算法，克服光線變化對于手部位置確定的影響；

S202，以飛行員身體上一個點作為種子點，進行區(qū)域生長算法，找到手部的位置，得到包含手部的正方形ROI區(qū)域。

10.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括存儲器；以及

耦合到所述存儲器的處理器，該處理器被配置為執(zhí)行存儲在所述存儲器中的指令，以實現(xiàn)如權(quán)利要求1至9中任一所述的方法。