[發(fā)明專利]一種混合視覺系統(tǒng)中全景圖像的三維重建方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201410233096.6
• 申請(qǐng)日: 2014-05-29
• 公開（公告）號(hào): CN103971378A
• 公開（公告）日: 2014-08-06
• 發(fā)明（設(shè)計(jì)）人: 何炳蔚;林昌;鄒誠;劉麗萍
• 申請(qǐng)（專利權(quán)）人: 福州大學(xué)
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00
• 代理公司: 福州元?jiǎng)?chuàng)專利商標(biāo)代理有限公司 35100
• 代理人: 蔡學(xué)俊

1.一種混合視覺系統(tǒng)中全景圖像的三維重建方法，該混合視覺系統(tǒng)包括RGB-D攝像機(jī)和全景攝像機(jī)，其特征在于：包括如下步驟，

步驟S01：對(duì)混合視覺系統(tǒng)進(jìn)行標(biāo)定，得到混合視覺系統(tǒng)的內(nèi)外參數(shù)；

步驟S02：根據(jù)混合視覺系統(tǒng)的空間關(guān)系和內(nèi)外參數(shù)確定混合視覺系統(tǒng)的共同視場(chǎng)；

步驟S03：利用SIFT特征匹配算法，獲得全景攝像機(jī)和RGB-D攝像機(jī)的RGB攝像機(jī)拍攝獲得的全景圖像和RGB圖像的粗特征點(diǎn)匹配；

步驟S04：采用RANSAC算法剔除粗匹配中的誤匹配點(diǎn)，得到精確匹配點(diǎn)；

步驟S05：利用RGB-D攝像機(jī)獲得的深度信息，并結(jié)合混合視覺系統(tǒng)的內(nèi)外參數(shù)，得到全景攝像機(jī)中匹配特征點(diǎn)的三維信息，從而完成三維重建目的。

2.根據(jù)權(quán)利要求1所述的一種混合視覺系統(tǒng)中全景圖像的三維重建方法，其特征在于：所述步驟S01中對(duì)混合視覺系統(tǒng)進(jìn)行標(biāo)定的方法，包括如下步驟，

步驟S21：分別對(duì)RGB-D攝像機(jī)的RGB攝像機(jī)和全景攝像機(jī)進(jìn)行標(biāo)定，得到RGB攝像機(jī)和全景攝像機(jī)的內(nèi)參數(shù)K_p，K_m；

步驟S22：調(diào)整棋盤格標(biāo)定板的位置使其在兩個(gè)攝像機(jī)中都成像，分別拍攝兩幅棋盤格圖像，根據(jù)棋盤格圖像對(duì)混合視覺系統(tǒng)外參數(shù)進(jìn)行標(biāo)定，獲得外參數(shù)矩陣[,]。

3.根據(jù)權(quán)利要求2所述的一種混合視覺系統(tǒng)中全景圖像的三維重建方法，其特征在于：所述步驟S02，具體包括如下步驟，

步驟S31：場(chǎng)景圖像獲得：保持混合視覺系統(tǒng)中兩攝像機(jī)位置不變，拍攝場(chǎng)景圖像，獲得全景圖像和RGB圖像；

步驟S32：混合視覺系統(tǒng)共同視場(chǎng)區(qū)域獲得：所述RGB圖像邊界點(diǎn)像素坐標(biāo)的歸一化坐標(biāo)，其中，Kp為RGB攝像機(jī)的內(nèi)參數(shù)矩陣；計(jì)算RGB攝像機(jī)圖像邊界點(diǎn)對(duì)應(yīng)的二次曲線，4條邊界曲線包圍出兩個(gè)月牙形的區(qū)域，RGB攝像機(jī)圖像上的其他點(diǎn)的歸一化坐標(biāo)向量被確定的四角錐所包圍，則根據(jù)對(duì)極幾何知識(shí)和全景攝像機(jī)成像原理，它們?cè)谌皵z像機(jī)圖像上的投影必然位于月牙形區(qū)域內(nèi)；因RGB攝像機(jī)只能觀察到前方的圖像，故將月牙形區(qū)域中對(duì)應(yīng)的部分保留下來，成為混合視覺系統(tǒng)的共同視場(chǎng)區(qū)域。

4.根據(jù)權(quán)利要求3所述的一種混合視覺系統(tǒng)中全景圖像的三維重建方法，其特征在于：所述步驟S03，具體包括以下步驟，

步驟S41：特征點(diǎn)檢測(cè)：在圖像二維平面空間和DoG尺度空間中同時(shí)檢測(cè)局部極值以作為特征點(diǎn)，DoG算子定義為兩個(gè)不同尺度的高斯核的差分，其中，DoG算子：；

步驟S42：在檢測(cè)DoG尺度空間極值時(shí)，一個(gè)像素需要跟同一尺度周圍領(lǐng)域的8個(gè)像素以及相鄰尺度對(duì)應(yīng)位置領(lǐng)域的9×2個(gè)像素，即總共26個(gè)像素進(jìn)行比較，以確保在DoG尺度空間和圖像二維平面空間都能檢測(cè)到局部極值；

步驟S43：特征點(diǎn)描述，即建立特征向量：每個(gè)關(guān)鍵點(diǎn)由2×2共4個(gè)種子點(diǎn)構(gòu)成，每個(gè)種子點(diǎn)包含8個(gè)方向向量信息；為了增強(qiáng)匹配穩(wěn)定性，對(duì)每個(gè)關(guān)鍵點(diǎn)采用4×4共16個(gè)種子點(diǎn)來描述，對(duì)于每個(gè)關(guān)鍵點(diǎn)能夠產(chǎn)生128個(gè)數(shù)據(jù)，即最后每個(gè)關(guān)鍵點(diǎn)建立128維的SIFT特征向量；

步驟S44：進(jìn)行特征匹配以獲取候選匹配點(diǎn)：當(dāng)所述全景圖像和RGB圖像的SIFT特征向量生成后，采用關(guān)鍵點(diǎn)特征向量間的歐式距離來作為所述全景圖像和RGB圖像中關(guān)鍵點(diǎn)的相似性判定度量；取所述全景圖像和RGB圖像中歐式距離最近的前兩對(duì)關(guān)鍵點(diǎn)，若最近的距離除以次近的距離少于預(yù)設(shè)比例閾值，則接受這一對(duì)匹配點(diǎn)。

5.根據(jù)權(quán)利要求4所述的一種混合視覺系統(tǒng)中全景圖像的三維重建方法，其特征在于：所述步驟S04采用RANSAC剔除粗匹配中的誤匹配點(diǎn)，得到精確匹配點(diǎn)，具體實(shí)現(xiàn)過程如下：

采用RANSAC算法去除外點(diǎn)，即通過多次隨機(jī)抽取匹配點(diǎn)的樣本對(duì)參數(shù)進(jìn)行估計(jì)，得出初始參數(shù)模型，然后根據(jù)估計(jì)參數(shù)將所有匹配點(diǎn)數(shù)據(jù)進(jìn)行分類，若分類后的匹配點(diǎn)數(shù)據(jù)在設(shè)定誤差范圍內(nèi)，則稱為內(nèi)點(diǎn)，反之稱為外點(diǎn)，并經(jīng)過多次迭代計(jì)算出最優(yōu)參數(shù)模型。

6.根據(jù)權(quán)利要求5所述的一種混合視覺系統(tǒng)中全景圖像的三維重建方法，其特征在于：所述步驟S05，具體實(shí)現(xiàn)過程如下，

所述RGB-D攝像機(jī)獲得RGB圖像的同時(shí)獲得RGB圖像對(duì)應(yīng)點(diǎn)的深度信息；通過提取RGB圖像特征點(diǎn)，并根據(jù)該RGB圖像特征點(diǎn)在深度點(diǎn)云空間中相應(yīng)的深度信息，結(jié)合得到全景圖像匹配點(diǎn)的深度信息，

設(shè) 為RGB-D攝像機(jī)坐標(biāo)系下RGB圖像特征點(diǎn)的坐標(biāo)，并設(shè)該RGB圖像特征點(diǎn)在全景攝像機(jī)坐標(biāo)系下的點(diǎn)的坐標(biāo)為；根據(jù)混合視覺系統(tǒng)坐標(biāo)變換原理以及混合視覺系統(tǒng)外參數(shù)矩陣[,]，可得：

式中，為全景圖像中對(duì)應(yīng)匹配點(diǎn)的Z軸坐標(biāo)，即RGB圖像特征點(diǎn)的深度信息；

設(shè)是全景攝像機(jī)坐標(biāo)系下全景圖像特征點(diǎn)的坐標(biāo)，由上述分析可得；根據(jù)全景圖像成像原理，有：

其中，為全景攝像機(jī)的內(nèi)參數(shù)矩陣，其中和為攝像機(jī)水平方向和垂直方向的有效焦距，為傾斜因子，和為攝像機(jī)中心軸線在圖像平面的投影點(diǎn)坐標(biāo)；為點(diǎn)的在圖像平面的投影點(diǎn)坐標(biāo)。