[發明專利]一種基于增強現實的小部件檢測系統及檢測方法

在審

• 申請號: 202011451082.3
• 申請日: 2020-12-11
• 公開（公告）號: CN114627042A
• 公開（公告）日: 2022-06-14
• 發明（設計）人: 柏林;廖敏捷;吳文洪;王仕鵬;朱怡平;王劍
• 申請（專利權）人: 中國航發南方工業有限公司;株洲翔云志航科技發展有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T19/00;G06T19/20;G06N3/04
• 代理公司: 株洲湘知知識產權代理事務所(普通合伙) 43232
• 代理人: 吳志勇

一種基于增強現實的小部件檢測系統，包括服務器、主機、AR眼鏡和圖像獲取設備，服務器與主機無線連接，圖像獲取設備與主機有線連接，AR眼鏡通過與主機有線連接；將圖像獲取設備獲取的實物影像通過主機傳輸到服務器中，服務器收到實物實物的影像后，對實物圖像進行前期處理，且對實物的影像構建坐標，并根據實物影像的坐標數據采用神經網絡算法，在實物影像上構建虛擬影像，并將實物影像和構建的虛擬影像混合在一起通過主機發送到AR眼鏡中，從而起到增強現實的效果。從而通過自動AI檢測，協助工人判斷，減少工人負擔和失誤，從而降低了檢測人員的門檻要求，大大提高了基層維修保障的日常巡檢工作效率。

技術領域

本發明涉及一種小部件檢測系統，具體涉及一種基于增強現實的小部件檢測系統。

背景技術

一般情況下，為保證航空發動機進場正常工作不出故障，發動機的巡檢包括很多步驟，尤其包括許多針對小部件細節的檢查，工人往往進行操作時容易疲勞，出現漏檢誤檢，導致一些安全事故發生。尤其是發動機上部件零件多，場景復雜，即便人眼也容易出錯，小目標部件的檢測精度和速度是業界難題。在巡檢流程中如何輔助工人提高效率，減少失誤還需進一步研究。

發明內容

本發明要解決的技術問題是：基于現有技術的不足，提出一種通過AR自動檢測，在零件出現異常時及時發出警報，從而輔助工人對發動機的巡檢。

針以上述問題，本發明提出的技術方案是：一種基于增強現實的小部件檢測系統，包括服務器、主機、AR眼鏡和圖像獲取設備，服務器與主機無線連接，圖像獲取設備與主機有線連接，AR眼鏡通過與主機有線連接；將圖像獲取設備獲取的實物影像通過主機傳輸到服務器中，服務器收到實物實物的影像后，對實物圖像進行前期處理，且對實物的影像構建坐標，并根據實物影像的坐標數據采用神經網絡算法，在實物影像上構建虛擬影像，并將實物影像和構建的虛擬影像混合在一起通過主機發送到AR眼鏡中，從而起到增強現實的效果。

優選的，還包括位置傳感器，通過位置傳感器捕捉實物的實時影像，并對實時的影像構建坐標，從而提高實物實時影像坐標的精度。

優選的，圖像獲取設備為高清攝像頭，所述高清攝像頭分辨率為1080P以上，且高清攝像頭上設置有LED燈。

優選的，AR眼鏡中的鏡片采用由石英玻璃制成的光波導，提高透光率和增大視角，從而提高視覺效果。

一種基于增強現實的小部件檢測方法，先用圖像獲取設備獲取小部件的實物影像，再將圖像獲取設備獲取的實物影像發送到主機中，經主機初步處理后傳輸到服務器中，服務器收到實物實物的影像后，對實物圖像進行前期處理，然后根據實物影像的坐標數據采用神經網絡算法，在實物影像上構建虛擬影像，并將實物影像和構建的虛擬影像混合在一起通過主機發送到AR眼鏡中，從而起到增強現實的效果。

優選的，對實物圖像進行前期處理包括對要檢測的小部件與背景進行識別、篩選并標識，從而將要檢測的小部件實物與背景區分開來。

優選的，對實物圖像進行前期處理還包括虛擬擴充、背景疊加、色彩過濾、圖像分割、二值化和邊緣檢測，從而有效的將要檢測的小部件與背景進行有效的區分。

優選的，對要檢測的小部件與背景進行有效的區分后，對各個小部件構建基準狀態的虛擬影像，并不斷將各個小部件的實物影像與基準狀態的虛擬影像進行實時對比，從而形成自動AI檢測，當所述的自動AI檢測發現有異常時發出警報，提醒工作人員。

優選的，采用的神經網絡算法為采用darknet框架，并輔助opencv的mossetracker跟蹤算法進行補充。