[發(fā)明專利]用于飛機(jī)駕駛艙功能試驗(yàn)的增強(qiáng)現(xiàn)實(shí)輔助方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010915761.5
• 申請(qǐng)日: 2020-09-03
• 公開（公告）號(hào): CN112102502A
• 公開（公告）日: 2020-12-18
• 發(fā)明（設(shè)計(jì)）人: 龐微;查文陸;汪順利;陳冉;崔世赟;劉猛;李苗;陳苗
• 申請(qǐng)（專利權(quán)）人: 上海飛機(jī)制造有限公司
• 主分類號(hào): G06T19/00
• 分類號(hào): G06T19/00;G06T5/00;G06K9/34;G06K9/32;B64D43/00
• 代理公司: 北京市金杜律師事務(wù)所 11256
• 代理人: 易詠梅;李立行

1.一種用于飛機(jī)駕駛艙功能試驗(yàn)的增強(qiáng)現(xiàn)實(shí)輔助方法，其中飛機(jī)駕駛艙包括控制面板和顯示屏，其特征在于，所述增強(qiáng)現(xiàn)實(shí)輔助方法包括以下步驟：

掃描步驟，其中采用增強(qiáng)現(xiàn)實(shí)設(shè)備掃描當(dāng)前駕駛艙，調(diào)取并基于第一識(shí)別特征數(shù)據(jù)庫(kù)對(duì)掃描到的所述當(dāng)前駕駛艙的當(dāng)前控制面板進(jìn)行特征識(shí)別，其中所述第一識(shí)別特征數(shù)據(jù)庫(kù)存儲(chǔ)有面板標(biāo)定圖像的全部可識(shí)別特征；

三維融合步驟，其中自存儲(chǔ)有和所述飛機(jī)駕駛艙功能試驗(yàn)相關(guān)聯(lián)的待操作任務(wù)以及和所述待操作任務(wù)相關(guān)聯(lián)的關(guān)聯(lián)特征和操作引導(dǎo)信息的AO中調(diào)取和所述待操作任務(wù)對(duì)應(yīng)的所述關(guān)聯(lián)特征及所述操作引導(dǎo)信息，并由所述增強(qiáng)現(xiàn)實(shí)設(shè)備基于所述當(dāng)前控制面板的特征識(shí)別的結(jié)果將所述操作引導(dǎo)信息添加并顯示于和識(shí)別出的所述關(guān)聯(lián)特征對(duì)應(yīng)的位置，以引導(dǎo)用戶執(zhí)行所述待操作任務(wù)。

2.如權(quán)利要求1所述的增強(qiáng)現(xiàn)實(shí)輔助方法，其特征在于，所述增強(qiáng)現(xiàn)實(shí)輔助方法還包括用于形成所述第一識(shí)別特征數(shù)據(jù)庫(kù)的以下步驟：

圖像采集步驟，其中采集所述控制面板的圖像；

特征識(shí)別步驟，其中采用圖像特征提取算法對(duì)采集到的所述控制面板的圖像進(jìn)行特征點(diǎn)提取和信息標(biāo)注，以形成所述面板標(biāo)定圖像；

識(shí)別特征訓(xùn)練步驟，其中采用所述面板標(biāo)定圖像作為訓(xùn)練數(shù)據(jù)并通過第一機(jī)器學(xué)習(xí)算法訓(xùn)練形成所述第一識(shí)別特征數(shù)據(jù)庫(kù)，所述第一識(shí)別特征數(shù)據(jù)庫(kù)。

3.如權(quán)利要求2所述的增強(qiáng)現(xiàn)實(shí)輔助方法，其特征在于，所述增強(qiáng)現(xiàn)實(shí)輔助方法還包括用于形成所述AO的以下步驟：

引導(dǎo)信息生成步驟，其中根據(jù)和所述飛機(jī)駕駛艙功能試驗(yàn)相關(guān)聯(lián)的待操作任務(wù)選取全部可識(shí)別特征中的關(guān)聯(lián)特征，并編輯和所述關(guān)聯(lián)特征相關(guān)的操作引導(dǎo)信息，并將所述關(guān)聯(lián)特征連同所述操作引導(dǎo)信息導(dǎo)入AO中。

4.如權(quán)利要求3所述的增強(qiáng)現(xiàn)實(shí)輔助方法，其特征在于，所述特征識(shí)別步驟中，采用ORB算法對(duì)采集到的所述控制面板的圖像進(jìn)行特征點(diǎn)提取。

5.如權(quán)利要求4所述的增強(qiáng)現(xiàn)實(shí)輔助方法，其特征在于，所述特征識(shí)別步驟中，所述特征識(shí)別步驟還包括采用暴力匹配算法和RANSAC算法對(duì)通過所述ORB算法提取的特征點(diǎn)進(jìn)行除噪操作，并基于所述除噪操作的結(jié)果形成所述面板標(biāo)定圖像。

6.如權(quán)利要求3所述的增強(qiáng)現(xiàn)實(shí)輔助方法，其特征在于，所述引導(dǎo)信息生成步驟中，基于駕駛艙操作大綱或者駕駛艙操作要求編輯和所述關(guān)聯(lián)特征相關(guān)的所述操作引導(dǎo)信息。

7.如權(quán)利要求1所述的增強(qiáng)現(xiàn)實(shí)輔助方法，其特征在于，所述可識(shí)別特征包括和所述控制面板具有的控制器件和/或控制接口對(duì)應(yīng)的特征。

8.如權(quán)利要求1-7中任意一項(xiàng)所述的增強(qiáng)現(xiàn)實(shí)輔助方法，其特征在于，所述增強(qiáng)現(xiàn)實(shí)輔助方法還包括以下步驟：

反饋步驟，其中所述飛機(jī)的飛機(jī)系統(tǒng)根據(jù)用戶和所述待操作任務(wù)相關(guān)聯(lián)的操作生成反饋信息，并將所述反饋信息顯示于所述顯示屏上。

9.如權(quán)利要求8所述的增強(qiáng)現(xiàn)實(shí)輔助方法，其特征在于，所述圖像采集步驟還包括采集所述顯示屏的圖像；

所述特征識(shí)別步驟還包括采用字符提取算法對(duì)采集到的所述顯示屏的圖像進(jìn)行字符提取和信息標(biāo)注，以形成顯示屏標(biāo)定圖像；

所述識(shí)別特征訓(xùn)練步驟還包括采用所述顯示屏標(biāo)定圖像作為訓(xùn)練數(shù)據(jù)并通過第二機(jī)器學(xué)習(xí)算法訓(xùn)練形成第二識(shí)別特征數(shù)據(jù)庫(kù)，所述第二識(shí)別特征數(shù)據(jù)庫(kù)存儲(chǔ)有所述顯示屏標(biāo)定圖像的全部字符信息；

所述掃描步驟還包括采用所述增強(qiáng)現(xiàn)實(shí)設(shè)備掃描當(dāng)前駕駛艙，獲取所述當(dāng)前駕駛艙的當(dāng)前顯示屏的圖像作為待比對(duì)顯示屏圖像；

所述增強(qiáng)現(xiàn)實(shí)輔助方法還包括以下步驟：

反饋解析步驟，其中針對(duì)所述待比對(duì)顯示屏圖像進(jìn)行字符提取，并調(diào)取所述第二識(shí)別特征數(shù)據(jù)庫(kù)存儲(chǔ)的所述顯示屏標(biāo)定圖像對(duì)字符提取結(jié)果進(jìn)行匹配，根據(jù)匹配結(jié)果解析所述反饋信息的含義。

10.如權(quán)利要求9所述的增強(qiáng)現(xiàn)實(shí)輔助方法，其特征在于，所述反饋解析步驟包括，根據(jù)匹配成功的所述顯示屏標(biāo)定圖像的字符信息，解析并輸出所述反饋信息所表示的所述飛機(jī)駕駛艙功能試驗(yàn)的判定結(jié)果。