[發(fā)明專利]一種增強(qiáng)現(xiàn)實(shí)系統(tǒng)的目標(biāo)檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011278389.8
• 申請(qǐng)日: 2020-11-16
• 公開(kāi)（公告）號(hào): CN112330753B
• 公開(kāi)（公告）日: 2023-05-09
• 發(fā)明（設(shè)計(jì)）人: 翁冬冬;胡明偉;陳鋒
• 申請(qǐng)（專利權(quán)）人: 北京理工大學(xué)
• 主分類號(hào): G06V20/64
• 分類號(hào): G06V20/64;G06T7/80;G06V10/82;G06V10/774
• 代理公司: 北京理工大學(xué)專利中心 11120
• 代理人: 李微微

1.一種增強(qiáng)現(xiàn)實(shí)系統(tǒng)的目標(biāo)檢測(cè)方法，其特征在于，包括如下步驟：

步驟1、建立數(shù)據(jù)集，具體為：

在綠幕背景下拍攝多組目標(biāo)物體的綠幕圖像；

將綠幕圖像轉(zhuǎn)化到HSV空間，摳除綠幕背景，得到目標(biāo)物體的主體圖像；

將目標(biāo)物體的主體圖像與背景圖像進(jìn)行合成，從而得到數(shù)據(jù)集；

步驟2、利用步驟1建立的數(shù)據(jù)庫(kù)集目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

步驟3、利用AR頭盔上集成的RGB攝像頭捕獲現(xiàn)實(shí)環(huán)境中的實(shí)時(shí)圖像，送入步驟2訓(xùn)練好的目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行目標(biāo)檢測(cè)，并將檢測(cè)結(jié)果以檢測(cè)框的形式顯示在AR頭盔上；

對(duì)AR頭盔和RGB攝像頭的標(biāo)定，具體為：

將AR頭盔顯示部分與人眼作為整體，在unity環(huán)境中設(shè)置為虛擬相機(jī)；

將虛擬相機(jī)和RGB攝像頭都設(shè)置成為定焦模式且分辨率設(shè)置為720P；

在真實(shí)環(huán)境中制作標(biāo)定板并在標(biāo)定板的中心制作標(biāo)志點(diǎn)；

在unity環(huán)境中設(shè)置標(biāo)定瞄準(zhǔn)器，設(shè)置瞄準(zhǔn)器的尺寸形狀與真實(shí)空間中的標(biāo)志點(diǎn)一致；

人眼透過(guò)AR頭盔觀察標(biāo)志點(diǎn)，并利用鼠標(biāo)移動(dòng)瞄準(zhǔn)器使瞄準(zhǔn)器與標(biāo)志點(diǎn)完全重合：當(dāng)瞄準(zhǔn)器與標(biāo)志點(diǎn)完全重合的時(shí)候，記錄下此時(shí)標(biāo)志點(diǎn)中心在RGB相機(jī)圖像的像素坐標(biāo)以及瞄準(zhǔn)器在Unity中的三維坐標(biāo)；

改變標(biāo)定板的位置，重復(fù)以上操作，直到記錄下12組坐標(biāo)點(diǎn)；

使用PnP算法對(duì)12組坐標(biāo)點(diǎn)求解，從而得到RGB相機(jī)與AR顯示器的相對(duì)位姿關(guān)系，完成標(biāo)定；

所述步驟3中，提取所述檢測(cè)結(jié)果中檢測(cè)框的左上角坐標(biāo)和右下角坐標(biāo)，送入unity3D中進(jìn)行檢測(cè)框繪制并傳輸?shù)紸R頭盔顯示器進(jìn)行顯示。

2.如權(quán)利要求1所述的一種增強(qiáng)現(xiàn)實(shí)系統(tǒng)的目標(biāo)檢測(cè)方法，其特征在于，所述步驟3中，采用TCP通訊方式將左上角坐標(biāo)和右下角坐標(biāo)，送入unity3D。

3.如權(quán)利要求1所述的一種增強(qiáng)現(xiàn)實(shí)系統(tǒng)的目標(biāo)檢測(cè)方法，其特征在于，所述目標(biāo)檢測(cè)網(wǎng)絡(luò)為YOLOv3。

4.如權(quán)利要求1所述的一種增強(qiáng)現(xiàn)實(shí)系統(tǒng)的目標(biāo)檢測(cè)方法，其特征在于，所述步驟1中，采用包括平移、縮放、透視變換的方式對(duì)目標(biāo)物體的主體圖像進(jìn)行數(shù)量擴(kuò)增。

5.如權(quán)利要求1所述的一種增強(qiáng)現(xiàn)實(shí)系統(tǒng)的目標(biāo)檢測(cè)方法，其特征在于，所述步驟1中，所述多組目標(biāo)物體的綠幕圖像為多角度圖像。

6.如權(quán)利要求1所述的一種增強(qiáng)現(xiàn)實(shí)系統(tǒng)的目標(biāo)檢測(cè)方法，其特征在于，所述步驟3中檢測(cè)框?yàn)椋?/p>

取目標(biāo)物體的主體圖像中目標(biāo)物體部分，最小橫坐標(biāo)和最大縱坐標(biāo)作為檢測(cè)框的左上角頂點(diǎn)坐標(biāo)，并且取目標(biāo)物體的主體圖像中目標(biāo)物體部分的最大橫坐標(biāo)和最小縱坐標(biāo)作為檢測(cè)框的右下角頂點(diǎn)坐標(biāo)，由此得到了檢測(cè)框的大小。