[發明專利]用于飛機駕駛艙功能試驗的增強現實輔助方法

在審

• 申請號: 202010915761.5
• 申請日: 2020-09-03
• 公開（公告）號: CN112102502A
• 公開（公告）日: 2020-12-18
• 發明（設計）人: 龐微;查文陸;汪順利;陳冉;崔世赟;劉猛;李苗;陳苗
• 申請（專利權）人: 上海飛機制造有限公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T5/00;G06K9/34;G06K9/32;B64D43/00
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 易詠梅;李立行

本發明公開了一種用于飛機駕駛艙功能試驗的增強現實輔助方法。該方法包括：掃描步驟，采用增強現實設備掃描當前駕駛艙，調取并基于存儲有面板標定圖像的全部可識別特征的第一識別特征數據庫對掃描到的當前控制面板進行特征識別；三維融合步驟，自AO中調取與和功能試驗相關聯的待操作任務對應的關聯特征及操作引導信息，并由增強現實設備基于當前控制面板的特征識別的結果添加并顯示操作引導信息，以引導用戶執行待操作任務。本發明通過結合圖像特征點識別和比對技術以及增強現實設備的應用，能夠有效地輔助操作人員以更高效、更準確地開展飛機系統功能試驗。

技術領域

本發明涉及飛機在裝配完成后需進行的系統功能試驗，尤其涉及一種用于飛機駕駛艙功能試驗的增強現實輔助方法。

背景技術

飛機在裝配完成后，需要進行系統功能試驗和調整。傳統的飛機在開展功能試驗時，主要依托紙質化的程序文件說明試驗步驟和主要操作，按照步驟依次操作斷路器、操作板開關等操作器件，然后查看屏幕和指示燈的反饋來判斷飛機性能是否正常。對于試驗操作人員尤其是新人而言，斷路器和操作板數量多，查找較困難，操作較為繁瑣。對于飛機駕駛艙屏幕上顯示的內容，無法準確判別故障的來源和故障的程度。對于故障的排除也非常依賴經驗的積累。這些因素都導致了目前的飛機功能試驗的效率較低。

傳統的增強現實輔助飛機裝配技術，主要是通過掃描二維碼對飛機產品進行識別，在AR設備中實現虛擬三維模型與實物的匹配定位方法。通常，需要在定位之前對某些特征進行定義，且與二維碼的關系需要手動關聯匹配，其操作不夠智能化且不夠高效。在實際的飛機裝配現場，由于飛機裝配的復雜性，尤其是其中空間開敞性不好的區域，很可能基于前期的二維碼標定的地方存在遮擋，這樣就需要反復的進行標定，導致操作效率受到不利影響。

因此，亟需提供一種新的用于飛機駕駛艙功能試驗的增強現實輔助方法，以幫助提高飛機系統功能試驗的試驗效率和準確性。

發明內容

本發明要解決的技術問題是為了克服現有的飛機在裝配完成后在進行所需的功能試驗時，無法為試驗操作人員提供有效輔助，導致試驗及相關操作的效率較低以及準確性不夠高的缺陷，提出一種新的用于飛機駕駛艙功能試驗的增強現實輔助方法。

本發明是通過下述技術方案來解決上述技術問題的：

本發明提供了一種用于飛機駕駛艙功能試驗的增強現實輔助方法，其中飛機駕駛艙包括控制面板和顯示屏，其特點在于，所述增強現實輔助方法包括以下步驟：

掃描步驟，其中采用增強現實設備(也簡稱為AR設備)掃描當前駕駛艙，調取并基于第一識別特征數據庫對掃描到的所述當前駕駛艙的當前控制面板進行特征識別，其中所述第一識別特征數據庫存儲有面板標定圖像的全部可識別特征；

三維融合步驟，其中自存儲有和所述飛機駕駛艙功能試驗相關聯的待操作任務以及和所述待操作任務相關聯的關聯特征和操作引導信息的AO(全稱為Assembly Outline，意為裝配大綱)中調取和所述待操作任務對應的所述關聯特征及所述操作引導信息，并由所述增強現實設備基于所述當前控制面板的特征識別的結果將所述操作引導信息添加并顯示于和識別出的所述關聯特征對應的位置，以引導用戶執行所述待操作任務。

根據本發明的一種實施方式，所述增強現實輔助方法還包括用于形成所述第一識別特征數據庫的以下步驟：

圖像采集步驟，其中采集所述控制面板的圖像；

特征識別步驟，其中采用圖像特征提取算法對采集到的所述控制面板的圖像進行特征點提取和信息標注，以形成所述面板標定圖像；

識別特征訓練步驟，其中采用所述面板標定圖像作為訓練數據并通過第一機器學習算法訓練形成所述第一識別特征數據庫，所述第一識別特征數據庫。

根據本發明的一種實施方式，所述增強現實輔助方法還包括用于形成所述AO的以下步驟：