[發明專利]一種基于增強現實技術的設備維修輔助方法

在審

• 申請號: 202010920479.6
• 申請日: 2020-09-04
• 公開（公告）號: CN112017303A
• 公開（公告）日: 2020-12-01
• 發明（設計）人: 張仁勝;孫福民;張子豪;施其虎;佘玉成;劉懷華
• 申請（專利權）人: 中筑科技股份有限公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T7/80;G06T7/70;G06T7/277;G06K9/62;G06K9/46;G06K9/42;G01C21/16
• 代理公司: 合肥道正企智知識產權代理有限公司 34130
• 代理人: 閆艷艷

本發明屬于智能技術領域，具體涉及一種基于增強現實技術的設備維修輔助方法，包括：預存儲設備信息，采集所有設備環境信息,根據預維修對象本身特點選定設備的圖樣完成圖像匹配；利用慣性器件采集加速度、角速度數據，經過卡爾曼濾波與DMP處理后完成姿態結算；根據圖像數據采集模塊的內外參數確定坐標系之間的轉換關系，使用慣性數據補償視覺數據之后，完成配準工作以及圖像的追蹤處理；完成虛擬物體與真實場景的疊加；將增強過的圖像信息調入顯示緩存區中并輸出，實現對顯示場景圖像的實時增強顯示。該方法穩定性強、精準度高、響應速度快，可以適用于各類設備的輔助維修。

技術領域

本發明屬于智能技術領域，具體涉及一種基于增強現實技術的設備維修輔助方法。

背景技術

增強現實AR(Augmented Reality,)，又名混合現實MR(Mixed Reality)(也有部分學者認為，增強現實只是混合現實的一部分，由它和虛擬現實、現實世界、數字化信息等共同組成混合現實)，是以計算機數字圖像處理原理為基礎，應用虛實配準技術和計算機視覺技術，把虛擬世界與客觀世界合并為一體并在輸出端體現出來，為用戶展現出身臨其境的直觀感受。它不僅在尖端武器的研制、遠程機器人視覺控制、精密儀器的制造等高科技領域擁有十分明顯的技術優勢，更是在虛擬學習與訓練、智能手機游戲、文藝演出效果甚至電視節目等民生領域中展現出驚人的市場價值。

隨著工業化復雜度、集成度的不斷提高，設備維修維護工程的復雜程度、困難程度也與日俱增，如何使得現場作業人員工作效率得以顯著提高并使得工程實施的困難程度有效降低，同時在增強現實維修系統的指導下進行拆卸、組裝、檢查、養護等各類維修工作的主導是負責現場維修的工程技術人員，而各種工具、零部件、原材料等都是維修工作的對象，因此解決好維修工作現場中的虛實配準、跟蹤注冊、相機姿態估計及識別與定位等關鍵技術問題，才可能將增強現實的輔助維修系統用在實際維修工作中。

發明內容

針對現有技術中的問題，本發明的目的是設計一個新的技術方案，提供一種基于增強現實技術的設備維修輔助方法，用以解決上述問題。

為了達到上述目的，本發明是通過以下技術方案來實現的：

一種基于增強現實技術的設備維修輔助方法，包括：

預存儲設備信息，包括設備名稱、生產廠家、設備參數和使用狀況；

采集所有設備環境信息,包括圖像信息，送入存儲器存儲；

根據預維修對象本身特點選定設備的圖樣完成圖像匹配；

利用慣性器件采集加速度、角速度數據，經過卡爾曼濾波與DMP處理后完成姿態結算；

根據圖像數據采集模塊的內外參數確定坐標系之間的轉換關系，使用慣性數據補償視覺數據之后，完成配準工作以及圖像的追蹤處理；

根據配準結果完成3D模型的繪制并將模型導入視頻流中，完成虛擬物體與真實場景的疊加；

將增強過的圖像信息調入顯示緩存區中并輸出，實現對顯示場景圖像的實時增強顯示。

優選地，所述根據預維修對象本身特點選定設備的圖樣完成圖像匹配具體包括：

通過在圖像中采集出的目標的各種特點，對所有目標體進行分類識別；

若捕捉到預維修對象真實環境的圖像，即在圖像中尋找到Marker，并得出Marker的屏幕坐標與世界坐標之間的計算關系；

對采集到的視頻圖像做二值化處理，接著對二值圖像予以圖像分割，得到Marker的輪廓，下來擬合出Marker的邊緣線，做規范化處理后，再將Marker模板列表中的模板與經過規范化處理的圖像進行匹配。