[發明專利]一種機載設備智能維修輔助系統及方法

在審

• 申請號: 201910118311.0
• 申請日: 2019-02-15
• 公開（公告）號: CN109919331A
• 公開（公告）日: 2019-06-21
• 發明（設計）人: 阮嘉偉;徐向民;邢曉芬;青春美
• 申請（專利權）人: 華南理工大學
• 主分類號: G06Q10/00
• 分類號: G06Q10/00;G06F3/01;G06K9/00;G06K9/32;G06T7/73
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李斌

1.一種機載設備智能維修輔助系統，其特征在于，所述系統的載體為頭戴式顯示設備；所述系統包括交互模塊、圖像檢測識別模塊、維修信息管理模塊、分析模塊和增強現實顯示模塊；

所述交互模塊用于獲取用戶的輸入、UI界面的投影和交互邏輯處理；

所述圖像檢測識別模塊用于檢測交互模塊獲取的圖片上的文字和特定圖型并識別內容信息；

所述分析模塊用于接收到有效的識別內容后，通過維修信息管理模塊獲取云端維修知識庫和當前維修信息，結合上下文進行邏輯判斷，分析出當前維修階段和內容，生成指導用戶的文字或3D圖像；

所述維修信息管理模塊接入WiFi網絡，用于將指定內容的搜索請求發送至云端數據庫服務器，接收返回的搜索結果，并存儲管理本地的當前維修信息；

所述增強現實顯示模塊用于在用戶視野中的真實環境定位出目標位置，并通過增強現實技術把指導信息疊加到位置上，達到虛實結合的效果。

2.根據權利要求1所述的一種機載設備智能維修輔助系統，其特征在于，所述圖像檢測識別模塊采用OCR算法和模式匹配技術檢測圖片上的文字和特定圖型。

3.根據權利要求1所述的一種機載設備智能維修輔助系統，其特征在于，所述頭戴式顯示設備通過捕捉用戶的語音和手勢并將其分別轉化為字符串和匹配手勢獲取指令。

4.根據權利要求1所述的一種機載設備智能維修輔助系統，其特征在于，所述頭戴式顯示設備中采用增強顯示技術，將待顯示文字或圖像的光學影像投射到眼鏡顯示屏上，呈現虛擬信息疊加到現實場景中的效果。

5.一種用于實現權利要求1-4所述的機載設備智能維修輔助系統的方法，其特征在于，具體步驟包括：

用戶穿戴上頭戴式顯示設備，通過語音或手勢向交互模塊發送控制指令；

交互模塊捕獲并處理控制指令，生成相應的UI界面并開始機載設備維修的輔助工作；

交互模塊實時獲取用戶視野圖像；

圖像檢測識別模塊檢測并識別圖像中的內容；

分析模塊接收到識別內容后，從維修信息管理模塊得到當前維修信息；

維修信息管理模塊接入WiFi網絡，將指定內容的搜索請求發送至云端數據庫服務器，將返回的搜索結果回傳給分析模塊；

分析模塊結合圖像內容和維修信息的上下文進行邏輯判斷，分析出當前維修的階段和內容；

分析模塊生成文字信息和動態3D模型，發送給增強現實顯示模塊；

增強現實顯示模塊在用戶視野中的真實環境定位出目標位置，將待顯示文字或圖像的光學影像投射到眼鏡顯示屏上，呈現虛擬信息疊加到現實場景中的效果。

6.根據權利要求5所述的一種機載設備智能維修輔助方法，其特征在于，圖像檢測識別模塊中，OCR算法實現分為兩部分：

第一部分為EAST模型的文本檢測，具體包括：

(1-1)采用文本內容訓練集，所述訓練集由各類機載設備實圖和人工標定組成樣本；

(1-2)采用文本內容訓練集對EAST模型進行訓練；

(1-3)封裝訓練好的模型作為模塊的端到端文本檢測工作；

第二部分為LSTM模型的文本識別，具體包括：

(2-1)將文本檢測的輸出加上人工標定作為訓練集；

(2-2)使用得到的訓練集對LSTM模型進行訓練；

(2-3)封裝訓練好的模型作為模塊的端到端文本識別工作。

7.根據權利要求6所述的一種機載設備智能維修輔助方法，其特征在于，對于除文本以外的特定圖形識別，分析模塊將告知該特定圖形與某文本的對應關系，圖像檢測識別模塊在OCR算法的識別結果上圈定相應的圖形，然后進行模式匹配。

8.根據權利要求5所述的一種機載設備智能維修輔助方法，其特征在于，增強現實顯示模塊采用三維跟蹤算法對目標物體進行定位，具體包括：

(3-1)對給定目標物體圖像進行分析，并將提取到的特征點集記錄在數據庫，在跟蹤前通過預處理完成；

(3-2)當實時跟蹤開始時，通過提取拍攝圖像的特征點，與數據庫中的特征點集進行匹配；

(3-3)匹配正確后根據當前看到的部分特征點集和已知的全部特征點集，計算一個空間變換矩陣，并采用空間變換矩陣將虛擬物體精確地疊加到真實環境中。