[發明專利]一種增強現實系統的目標檢測方法

有效

• 申請號: 202011278389.8
• 申請日: 2020-11-16
• 公開（公告）號: CN112330753B
• 公開（公告）日: 2023-05-09
• 發明（設計）人: 翁冬冬;胡明偉;陳鋒
• 申請（專利權）人: 北京理工大學
• 主分類號: G06V20/64
• 分類號: G06V20/64;G06T7/80;G06V10/82;G06V10/774
• 代理公司: 北京理工大學專利中心 11120
• 代理人: 李微微

本發明公開了一種增強現實系統的目標檢測方法，利用AR眼鏡和目標檢測神經網絡相結合的方式，使用戶可以通過光學透射式AR眼鏡直觀的觀察現實環境，而不需要如手機一般，將顯示器中的圖像和現實環境對比后才能在現實環境中操作，降低了用戶使用的復雜度。同時，利用標定方法簡化了AR顯示與現實世界之間的融合難度，一定程度上降低了計算復雜度，減少了延時，從而帶給用戶更好的實時AR體驗。

技術領域

本發明屬于AR增強現實技術領域，具體涉及一種增強現實系統的目標檢測方法。

背景技術

目前有研究提出將目標檢測網絡用于視頻透射式的AR檢測方式。他們利用手機這類手持的移動設備對環境進行拍攝，并使用簡化的SSD目標檢測網絡對手機所拍攝到的圖像進行目標檢測。接著，他們直接在手機屏幕上對目標物體進行框選，從而完成目標檢測。直接使用手機之類的設備對環境進行拍攝，并將檢測框直接顯示在手機上的方式并不能帶給用戶一個直觀的AR體驗。用戶在使用過程中需要先觀察手機屏幕，從手機屏幕上確認目標物體的位置再與現實環境對照，然后才能在現實中去尋找目標。這樣的方式增加了用戶使用的困難。同時，這種方式的檢測時間過長，平均檢測時間在1.5s。

還有研究將AR技術和用電信息采集系統結合在一起。他們利用攝像頭對電箱的環境進行拍攝，然后圖像上傳到云端進行檢測。同時，他們在檢測過程中通過對位置的變換拍攝多幅圖像一同上傳，并利用SLAM技術對環境進行重建。最后，將檢測的結果發送到AR眼鏡上，并結合SLAM三維重建的結果在AR眼鏡上顯示出來。該方式利用單目相機對環境進行多張圖片的拍攝，將所有的圖片上傳到云端，從而利用SLAM技術對環境進行三維重建，以及利用目標檢測和識別技術對物體進行判斷。這種方式會使用大量的計算力，同時造成極大的延時，難以滿足日常生活中人們的實時要求。

發明內容

有鑒于此，本發明的目的是提供一種增強現實系統的目標檢測方法，可以快速的從復雜的現實環境中找到用戶需要的物體，并顯示。

一種增強現實系統的目標檢測方法，包括如下步驟：

步驟1、建立數據集，具體為：

在綠幕背景下拍攝多組目標物體的綠幕圖像；

將綠幕圖像轉化到HSV空間，摳除綠幕背景，得到目標物體的主體圖像；

將目標物體的主體圖像與背景圖像進行合成，從而得到數據集；

步驟2、利用步驟1建立的數據庫集目標檢測網絡進行訓練；

步驟3、利用AR頭盔上集成的RGB攝像頭捕獲現實環境中的實時圖像，送入步驟2訓練好的目標檢測網絡進行目標檢測，并將檢測結果以檢測框的形式顯示在AR頭盔上。

進一步的，還包括對AR頭盔和RGB攝像頭的標定，具體為：

將AR頭盔顯示部分與人眼作為整體，在unity環境中設置為虛擬相機；

將虛擬相機和RGB攝像頭都設置成為定焦模式且分辨率設置為720P；

在真實環境中制作標定板并在標定板的中心制作標志點；

在unity環境中設置標定瞄準器，設置瞄準器的尺寸形狀與真實空間中的標志點一致；

人眼透過AR頭盔觀察標志點，并利用鼠標移動瞄準器使瞄準器與標志點完全重合：當瞄準器與標志點完全重合的時候，記錄下此時標志點中心在RGB相機圖像的像素坐標以及瞄準器在Unity中的三維坐標；

改變標定板的位置，重復以上操作，直到記錄下12組坐標點；

使用PnP算法對12組坐標點求解，從而得到RGB相機與AR顯示器的相對位姿關系，完成標定。