[發明專利]一種基于增強現實的小部件檢測系統及檢測方法

在審

• 申請號: 202011451082.3
• 申請日: 2020-12-11
• 公開（公告）號: CN114627042A
• 公開（公告）日: 2022-06-14
• 發明（設計）人: 柏林;廖敏捷;吳文洪;王仕鵬;朱怡平;王劍
• 申請（專利權）人: 中國航發南方工業有限公司;株洲翔云志航科技發展有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T19/00;G06T19/20;G06N3/04
• 代理公司: 株洲湘知知識產權代理事務所(普通合伙) 43232
• 代理人: 吳志勇

1.一種基于增強現實的小部件檢測系統，其特征在于，包括服務器、主機、AR眼鏡和圖像獲取設備，服務器與主機無線連接，圖像獲取設備與主機有線連接，AR眼鏡通過與主機有線連接；將圖像獲取設備獲取的實物影像通過主機傳輸到服務器中，服務器收到實物實物的影像后，對實物圖像進行前期處理，且對實物的影像構建坐標，并根據實物影像的坐標數據采用神經網絡算法，在實物影像上構建虛擬影像，并將實物影像和構建的虛擬影像混合在一起通過主機發送到AR眼鏡中，從而起到增強現實的效果。

2.根據權利要求1所述的一種基于增強現實的小部件檢測系統，其特征在于，還包括位置傳感器，通過位置傳感器捕捉實物的實時影像，并對實時的影像構建坐標，從而提高實物實時影像坐標的精度。

3.根據權利要求1所述的一種基于增強現實的小部件檢測系統，其特征在于，圖像獲取設備為高清攝像頭，所述高清攝像頭分辨率為1080P以上，且高清攝像頭上設置有LED燈。

4.根據權利要求1所述的一種基于增強現實的小部件檢測系統，其特征在于，AR眼鏡中的鏡片采用由石英玻璃制成的光波導，提高透光率和增大視角，從而提高視覺效果。

5.一種基于增強現實的小部件檢測方法，其特征在于，先用圖像獲取設備獲取小部件的實物影像，再將圖像獲取設備獲取的實物影像發送到主機中，經主機初步處理后傳輸到服務器中，服務器收到實物實物的影像后，對實物圖像進行前期處理，然后根據實物影像的坐標數據采用神經網絡算法，在實物影像上構建虛擬影像，并將實物影像和構建的虛擬影像混合在一起通過主機發送到AR眼鏡中，從而起到增強現實的效果。

6.根據權利要求5所述的一種基于增強現實的小部件檢測系統，其特征在于，對實物圖像進行前期處理包括對要檢測的小部件與背景進行識別、篩選并標識，從而將要檢測的小部件實物與背景區分開來。

7.根據權利要求6所述的一種基于增強現實的小部件檢測系統，其特征在于，對實物圖像進行前期處理還包括虛擬擴充、背景疊加、色彩過濾、圖像分割、二值化和邊緣檢測，從而有效的將要檢測的小部件與背景進行有效的區分。

8.根據權利要求7所述的一種基于增強現實的小部件檢測系統，其特征在于，對要檢測的小部件與背景進行有效的區分后，對各個小部件構建基準狀態的虛擬影像，并不斷將各個小部件的實物影像與基準狀態的虛擬影像進行實時對比，從而形成自動AI檢測，當所述的自動AI檢測發現有異常時發出警報，提醒工作人員。

9. 根據權利要求5所述的一種基于增強現實的小部件檢測系統，其特征在于，采用的神經網絡算法為采用darknet框架，并輔助opencv的mosse tracker跟蹤算法進行補充。