[發(fā)明專利]一種基于子空間融合和一致性約束的準(zhǔn)稠密匹配擴(kuò)展方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201510053827.3
• 申請(qǐng)日: 2015-02-02
• 公開(kāi)（公告）號(hào): CN104657986B
• 公開(kāi)（公告）日: 2017-09-29
• 發(fā)明（設(shè)計(jì)）人: 陶文兵;孫琨
• 申請(qǐng)（專利權(quán)）人: 華中科技大學(xué)
• 主分類號(hào): G06T7/33
• 分類號(hào): G06T7/33
• 代理公司: 華中科技大學(xué)專利中心42201
• 代理人: 曹葆青

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，具體涉及一種基于子空間融合和一致性約束的準(zhǔn)稠密匹配擴(kuò)展方法，該方法涉及到圖像匹配、多視圖幾何、三維重建等領(lǐng)域，可直接用于在較少圖像情況下對(duì)目標(biāo)場(chǎng)景進(jìn)行準(zhǔn)確、稠密三維點(diǎn)云重建的過(guò)程。

背景技術(shù)

基于多視角圖像的三維重建技術(shù)已經(jīng)被廣泛地應(yīng)用在自主導(dǎo)航、文物保護(hù)、三維地圖、虛擬現(xiàn)實(shí)等領(lǐng)域。運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(Structure from motion,SFM)算法是當(dāng)前的主流方法，一個(gè)典型的SFM算法由以下四個(gè)步驟組成：首先，用一個(gè)或多個(gè)相機(jī)從不同的位置和視角拍攝目標(biāo)場(chǎng)景的多幅圖像；其次，計(jì)算所有圖像之間的特征匹配，構(gòu)建匹配關(guān)系圖；然后，根據(jù)圖像之間的匹配，求出每幅圖像對(duì)應(yīng)的相機(jī)參數(shù)；最后，利用估計(jì)的相機(jī)參數(shù)重建稀疏三維點(diǎn)云。

圖像匹配作為三維重建的一個(gè)核心步驟，得到了廣泛而深入的研究。圖像之間的匹配點(diǎn)是指三維空間中的同一個(gè)點(diǎn)在不同圖像上的投影。通過(guò)檢測(cè)圖像上具有顯著性的稀疏特征點(diǎn)并計(jì)算對(duì)應(yīng)特征描述符的相似性，可以得到圖像之間的稀疏匹配。尺度不變特征(Scale Invariant Feature Transform,SIFT)算法及其改進(jìn)算法被證明是最有效的圖像特征匹配方法。該方法在特征空間內(nèi)尋找一幅圖像上的某個(gè)點(diǎn)在另一幅圖像上的最近鄰，如果次近距離與最近距離的比值大于預(yù)設(shè)閾值，則保留該對(duì)匹配。

除了基于稀疏特征點(diǎn)的圖像匹配，學(xué)者們還提出了基于匹配傳播(或者叫匹配擴(kuò)展)的準(zhǔn)稠密圖像匹配算法。匹配的傳播過(guò)程開(kāi)始于一些稀疏但可靠的種子匹配。算法不斷地從種子周?chē)l(fā)掘出新的匹配，并把新的匹配加入種子集合繼續(xù)傳播，直到找不到新的匹配。然而，現(xiàn)有的擴(kuò)展算法大都假設(shè)場(chǎng)景表面可由許多小的平面區(qū)域來(lái)近似，并采用局部平面模型(如仿射變換)來(lái)描述擴(kuò)展區(qū)域。這種思路簡(jiǎn)單易行，但對(duì)于表面非平面且深度變化較大的場(chǎng)景會(huì)導(dǎo)致性能的急劇下降。

和基于特征點(diǎn)的稀疏圖像匹配相比，準(zhǔn)稠密圖像匹配算法的優(yōu)勢(shì)在于它使利用較少的圖像得到較為稠密的重建結(jié)果成為可能，因此具有很廣闊的應(yīng)用前景。然而，現(xiàn)有的準(zhǔn)稠密圖像匹配算法大都假設(shè)擴(kuò)展區(qū)域可用局部平面近似，當(dāng)場(chǎng)景表面有較大深度變化時(shí)會(huì)導(dǎo)致性能的急劇下降。因此，很有必要對(duì)擴(kuò)展模型進(jìn)行進(jìn)一步研究，找到更通用更魯棒的擴(kuò)展模型。

發(fā)明內(nèi)容

本發(fā)明旨在克服現(xiàn)有準(zhǔn)稠密擴(kuò)展算法的缺陷，提供一種基于子空間融合和一致性約束的準(zhǔn)稠密匹配擴(kuò)展方法，從而使該算法對(duì)于表面深度信息復(fù)雜的場(chǎng)景獲得準(zhǔn)確的匹配擴(kuò)展結(jié)果，該算法可用于在較少圖像情況下對(duì)場(chǎng)景進(jìn)行準(zhǔn)確、稠密的三維重建。

為了解決上述技術(shù)問(wèn)題，本發(fā)明提供了一種基于子空間融合和一致性約束的準(zhǔn)稠密匹配擴(kuò)展方法，包括如下步驟：

(1)對(duì)兩幅待匹配圖像進(jìn)行稀疏特征點(diǎn)匹配，得到種子匹配集合；

(2)如果種子匹配集合不為空，則執(zhí)行步驟(3)；如果為空，則轉(zhuǎn)步驟(8)；

(3)在種子匹配集合中選取一對(duì)種子匹配作為待擴(kuò)展種子匹配，并在該待擴(kuò)展種子匹配兩端選取待擴(kuò)展區(qū)域；

(4)分別在所述兩幅待匹配圖像的待擴(kuò)展區(qū)域中選取待擴(kuò)展點(diǎn)集X和Y；

(5)對(duì)所述兩個(gè)待擴(kuò)展點(diǎn)集X和Y進(jìn)行空間信息和特征信息的子空間融合，得到X和Y對(duì)應(yīng)于新的子空間的點(diǎn)集P和Q；

(6)對(duì)步驟(5)得到的子空間中的兩個(gè)點(diǎn)集P和Q應(yīng)用一致性約束尋找點(diǎn)集之間的匹配，子空間中點(diǎn)集P和Q之間的匹配結(jié)果等價(jià)于原空間中點(diǎn)集X和Y之間的匹配結(jié)果；

(7)對(duì)步驟(6)的結(jié)果進(jìn)行進(jìn)一步優(yōu)化，即過(guò)濾掉其中可能包含的不可靠的匹配，多對(duì)一、一對(duì)多的匹配，甚至是錯(cuò)誤的匹配，并輸出優(yōu)化后的匹配結(jié)果，轉(zhuǎn)步驟(2)；

(8)統(tǒng)計(jì)本輪次擴(kuò)展得到的所有匹配，判斷在該輪次中新增加的匹配數(shù)量是否小于預(yù)設(shè)閾值，如果是，則算法結(jié)束；如果不是，則執(zhí)行步驟(9)；

(9)若步驟(8)中判斷新增加的匹配數(shù)量大于預(yù)設(shè)閾值，則獲取已匹配區(qū)域的外輪廓，并在外輪廓上采樣新的匹配作為新的種子匹配集合，并轉(zhuǎn)步驟(2)對(duì)新的種子匹配集合進(jìn)行下一輪擴(kuò)展；其中所述已匹配區(qū)域是指所有已經(jīng)匹配的像素點(diǎn)在圖像上構(gòu)成的若干個(gè)聯(lián)通的區(qū)域。

在本發(fā)明的一個(gè)實(shí)施例中，所述步驟(4)中選取待擴(kuò)展點(diǎn)集具體包括：

(4.1)對(duì)待擴(kuò)展區(qū)域中的每一個(gè)不在當(dāng)前待擴(kuò)展點(diǎn)集中的像素點(diǎn)，執(zhí)行步驟(4.2)至(4.5)；

(4.2)判斷該像素點(diǎn)是否位于圖像的紋理區(qū)域，如果是，繼續(xù)執(zhí)行步驟(4.3)；如果不是，返回步驟(4.1)；