[發明專利]一種基于增強現實技術的設備維修輔助方法

在審

• 申請號: 202010920479.6
• 申請日: 2020-09-04
• 公開（公告）號: CN112017303A
• 公開（公告）日: 2020-12-01
• 發明（設計）人: 張仁勝;孫福民;張子豪;施其虎;佘玉成;劉懷華
• 申請（專利權）人: 中筑科技股份有限公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T7/80;G06T7/70;G06T7/277;G06K9/62;G06K9/46;G06K9/42;G01C21/16
• 代理公司: 合肥道正企智知識產權代理有限公司 34130
• 代理人: 閆艷艷

1.一種基于增強現實技術的設備維修輔助方法，其特征在于：包括：

預存儲設備信息，包括設備名稱、生產廠家、設備參數和使用狀況；

采集所有設備環境信息,包括圖像信息，送入存儲器存儲；

根據預維修對象本身特點選定設備的圖樣完成圖像匹配；

利用慣性器件采集加速度、角速度數據，經過卡爾曼濾波與DMP處理后完成姿態結算；

根據圖像數據采集模塊的內外參數確定坐標系之間的轉換關系，使用慣性數據補償視覺數據之后，完成配準工作以及圖像的追蹤處理；

根據配準結果完成3D模型的繪制并將模型導入視頻流中，完成虛擬物體與真實場景的疊加；

將增強過的圖像信息調入顯示緩存區中并輸出，實現對顯示場景圖像的實時增強顯示。

2.根據權利要求1所述的一種基于增強現實技術的設備維修輔助方法，其特征在于：所述根據預維修對象本身特點選定設備的圖樣完成圖像匹配具體包括：

通過在圖像中采集出的目標的各種特點，對所有目標體進行分類識別；

若捕捉到預維修對象真實環境的圖像，即在圖像中尋找到Marker，并得出Marker的屏幕坐標與世界坐標之間的計算關系；

對采集到的視頻圖像做二值化處理，接著對二值圖像予以圖像分割，得到Marker的輪廓，下來擬合出Marker的邊緣線，做規范化處理后，再將Marker模板列表中的模板與經過規范化處理的圖像進行匹配。

3.根據權利要求2所述的一種基于增強現實技術的設備維修輔助方法，其特征在于：所述將Marker模板列表中的模板與經過規范化處理的圖像進行匹配，具體包括：判定采集到的圖像里檢索有沒有Marker，若有則通過計算圖像和Marker之間的相關系數，得出在二者相應點的最大值，完成匹配模板的過程。

4.根據權利要求3所述的一種基于增強現實技術的設備維修輔助方法，其特征在于：所述完成匹配模板的過程具體包括：

從已經檢索出的Marker的圖像里取出Marker的輪廓部分的圖像，再用旋轉或縮放的方式進行規范化處理，獲得和模板T(x,y)一樣大小的圖像S(x,y)；

把圖像S(x,y)與模板T(x,y)執行相關系數計算，如果模板與圖像S的大小為M*M，也就是他們的行像素數為M，列像素數為M，其相關系數的計算如下:

經過計算，得到相關系數值；

把圖像S進行90度旋轉，再循環執行4次上述步驟；

相關系數的最大值通過對比這四個相關系數的大小找出，當相關系數接近1時，可判定出識別到的Marker的圖像就是此時的圖像，即模板與Marker完成了匹配。

5.根據權利要求1所述的一種基于增強現實技術的設備維修輔助方法，其特征在于：所述配準工作采用視覺導航方法與慣性導航方法相結合的位置跟蹤方法。

6.根據權利要求5所述的一種基于增強現實技術的設備維修輔助方法，其特征在于：所述位置跟蹤方法具體包括讀取加速度值以及角速度值，再經過卡爾曼濾波后，獲得采樣的周期很短的四元數，再采用基于四元數的滑動濾波算法進一步解算出歐拉角，經坐標變換后與視覺導航數據經一致性估計后做進一步融合，實現配準。

7.根據權利要求1所述的一種基于增強現實技術的設備維修輔助方法，其特征在于：所述圖像數據采集模塊為攝像機。

8.根據權利要求7所述的一種基于增強現實技術的設備維修輔助方法，其特征在于：所述內外參數具體為攝像機的幾何結構和位姿特征參數。

9.根據權利要求8所述的一種基于增強現實技術的設備維修輔助方法，其特征在于：所述內參數具體包括自焦距f光心到圖像平面之間的距離、主點(u0，v0)光軸與圖像平面的交點、比例因子與像素x和y的尺寸有關、攝像機畸變因子k和攝像機徑向畸變相關的比例因子。

10.根據權利要求8所述的一種基于增強現實技術的設備維修輔助方法，其特征在于：所述外參數具體包括以表述攝像機的姿態的旋轉參數和以表述在世界坐標系里攝像機所在的位置的平移參數。