[發明專利]基于深度學習的航天員操作設備狀態識別方法

在審

• 申請號: 202210055653.4
• 申請日: 2022-01-18
• 公開（公告）號: CN114494594A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 何寧;許振瑛;晁建剛;張炎
• 申請（專利權）人: 中國人民解放軍63919部隊
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T17/05;G06T19/00;G06T7/70;G06T5/40;G06V10/77;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京豐浩知識產權代理事務所(普通合伙) 11781
• 代理人: 李學康

1.一種基于深度學習的航天員操作設備狀態識別方法，其特征在于，其具體包括：

對航天員空間操作場景進行重建與匹配；采用空間感知方法，對航天員所操作設備進行特征提取與篩選；采用深度學習方法，對航天員所操作設備進行狀態識別。

2.如權利要求1所述的基于深度學習的航天員操作設備狀態識別方法，其特征在于，

所述的對航天員空間操作場景進行重建與匹配，其具體包括：

對在空間操作場景中的航天員進行定位，并獲取其觀察視角，確定航天員所操作設備，采用基于SLAM的三維重構方法等比例構建空間操作場景三維模型，采用基于點云幾何特征的場景匹配方法，完成航天員真實操作三維空間場景和空間操作場景三維模型的匹配，為航天員操作設備狀態的識別提供先驗信息。

3.如權利要求2所述的基于深度學習的航天員操作設備狀態識別方法，其特征在于，

為確定航天員所操作設備，將航天員真實操作三維空間場景和空間操作場景三維模型匹配，建立兩個場景的共享坐標系，通過計算重構的空間操作場景三維模型空間中操作設備空間坐標，進行重構空間向真實空間的映射，查詢空間操作場景三維模型中相應坐標的設備，從而確定航天員所操作設備。

4.如權利要求2所述的基于深度學習的航天員操作設備狀態識別方法，其特征在于，

所述的獲取航天員觀察視角，獲取航天員所佩戴的視線傳感器的數據，進而獲得其視點到操作設備的空間向量，進而得到以視線向量為軸、設備位置坐標為頂點的圓錐空間域，在篩選特征樣本時，只需選擇已確定的圓錐空間域內的樣本。

5.如權利要求2所述的基于深度學習的航天員操作設備狀態識別方法，其特征在于，

所述的對航天員空間操作場景進行重建與匹配，通過獲取真實場景的圖像信息及深度，構建操作場景mesh地圖，通過計算航天員相對艙內特征點的距離，實時定位航天員相對空間艙的位姿；航天員操作設備時，其視線關注操作設備，通過視線交互，計算視線方向與操作場景mesh地圖中設備模型的交點坐標，即為所操作設備相對艙內場景的相對坐標，從而得到視點方向向量；將構建的場景mesh地圖與航天員真實操作三維空間場景進行匹配，建立共享坐標系，從而實現操作場景mesh地圖到已有虛擬場景的空間映射；操作設備空間坐標轉換，將航天員頭部位姿與視線向量進行坐標轉換，計算出操作設備相對操作場景的位置坐標，將操作設備艙內位置坐標發送到已匹配操作場景mesh地圖，從而在已有虛擬場景內通過坐標確認目前操作設備；已有虛擬場景為針對航天員真實操作三維空間場景所構建的虛擬場景。

6.如權利要求2所述的基于深度學習的航天員操作設備狀態識別方法，其特征在于，

利用深度相機對航天員所操作裝備進行三維模型構建,得到虛擬場景；利用深度相機所拍攝的每一幀的RGBD數據，估計深度相機在世界坐標系中的位置，把拍攝第一幀時的相機所處位置作為世界坐標系的原點，利用迭代最近點方法，估計深度相機在此后每一幀相對于第一幀的位置的轉移矩陣，從而實現對拍攝每一幀的時刻下深度相機位置的估計。

7.如權利要求1所述的基于深度學習的航天員操作設備狀態識別方法，其特征在于，

所述的采用空間感知方法，對航天員所操作設備進行特征提取與篩選，其具體包括：基于構建的空間操作場景三維模型，進一步進行實物物體特征的提取與篩選；提取得到物體特征后，為滿足識別和分類算法輸入的需求，在得到的物體特征中進行篩選，選取在識別和分類應用中區分度大于一定值的特征作為最終確定的物體特征。

8.如權利要求7所述的基于深度學習的航天員操作設備狀態識別方法，其特征在于，

提取包括直線特性、平面特征和輪廓特征等幾何特征的物體特征，從而增強提取的特征對表面紋理分布、光照和噪聲等的魯棒性。

9.如權利要求7所述的基于深度學習的航天員操作設備狀態識別方法，其特征在于，

采用數據挖掘方法，利用設備識別、視域范圍及主成分分析三種方法中一種或幾種結合，進行訓練樣本的篩選。

10.如權利要求1所述的基于深度學習的航天員操作設備狀態識別方法，其特征在于，

所述的采用深度學習方法，對航天員所操作設備進行狀態識別，其具體包括：采用卷積神經網絡，構建深度學習分類器，以物體特征為輸入，實現航天員操作設備狀態檢測；利用深度學習算法實現航天員操作設備狀態檢測，該過程包括分類器訓練和應用兩個過程，利用訓練樣本進行深度學習分類器訓練，將訓練后得到的參數進行固化并應用于深度學習分類器上，利用訓練完成的深度學習分類器，進行航天員操作設備狀態檢測。