[發(fā)明專利]一種基于全局線性方法的三維模型重建方法

在審

• 申請?zhí)枺?/td>: 201410171960.4
• 申請日: 2014-04-25
• 公開（公告）號: CN103985154A
• 公開（公告）日: 2014-08-13
• 發(fā)明（設(shè)計(jì)）人: 林嘉
• 申請（專利權(quán)）人: 北京大學(xué)
• 主分類號: G06T17/00
• 分類號: G06T17/00
• 代理公司: 北京君尚知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11200
• 代理人: 司立彬

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于全局線性方法的三維模型重建方法，屬于計(jì)算機(jī)軟件技術(shù)領(lǐng)域。

背景技術(shù)

近年來有很多人在研究利用大量無序的網(wǎng)上照片集合來重建景物的三維模型，而運(yùn)動恢復(fù)結(jié)構(gòu)(sfm)是這些重建流程中的關(guān)鍵步驟。三維重建的流程包括：1.對所有的圖片做圖像特征提取(一般采用SIFT特征)；2.對特征點(diǎn)進(jìn)行匹配(找到相機(jī)間看到的共同的點(diǎn))；3.初始化相機(jī)群的姿態(tài)和特征點(diǎn)的三維坐標(biāo)；4.調(diào)整相機(jī)姿態(tài)和場景結(jié)構(gòu)(bundle?adjustment)。其中第3步，傳統(tǒng)的方法[Snavely06],[Li08],[Agarwal09]在初步重建相機(jī)姿態(tài)和特征點(diǎn)三維坐標(biāo)都采用增量捆綁調(diào)整(incremental?bundle?adjustment)，即初始選擇聯(lián)系最密切的兩張圖片，還原兩個相機(jī)的姿態(tài)和特征點(diǎn)位置，然后調(diào)整去除誤差；再添加一張圖片，還原這個相機(jī)的姿態(tài)和特征點(diǎn)的位置，這樣不斷的重復(fù)直到所有的圖片對應(yīng)的相機(jī)姿態(tài)以及特征點(diǎn)的三維坐標(biāo)被還原出來。這種方法對于很多場景的重建效果還不錯。

David采用的方法[David?Crandall2011]則把運(yùn)動恢復(fù)結(jié)構(gòu)(sfm)看成是對馬爾科夫模型求能量最小化，一次性求解所有相機(jī)的姿態(tài)以及特征點(diǎn)的三維坐標(biāo)。David聲稱他的方法比目前任何一種增量集束調(diào)整(IBA)方法都要快，并且對于重建中的錯誤更有魯棒性。David的方法首先利用所有的圖片計(jì)算出初始的所有相機(jī)姿態(tài)，然后用集束調(diào)整做一次最后的場景結(jié)構(gòu)修正。但是，David的算法對于大規(guī)模的圖像數(shù)據(jù)的重建效果較好，因?yàn)檫@種情況下人們對于相機(jī)姿態(tài)的準(zhǔn)確性要求不高，只關(guān)注整體效果。但是，David的算法對于求解精確的相機(jī)姿態(tài)有致命的缺陷，即算法假設(shè)所有的相機(jī)都在同一平面上，這導(dǎo)致相機(jī)的姿態(tài)不可能完全精確。

近幾年一些人提出了新的全局求解運(yùn)動恢復(fù)結(jié)構(gòu)的算法，[Sinha]設(shè)計(jì)了一個魯棒的多流程的線性算法，利用兩個相機(jī)對重建之間在已經(jīng)相機(jī)朝向的情況的線性關(guān)系，全局的求解相機(jī)姿態(tài)和特征點(diǎn)坐標(biāo)。[Jiang]同樣設(shè)計(jì)一種新穎魯棒的線性算法，在已知相機(jī)朝向的情況下，算法最小化相機(jī)中心之間距離的幾何誤差，全局線性求解出一個好的初始重建。但是上述兩種方法都對兩兩相機(jī)重建的對極幾何的準(zhǔn)確性依賴極高，如果不能準(zhǔn)確的篩除錯誤的對角幾何，算法將會崩潰。

傳統(tǒng)方法：很多著名的Sfm系統(tǒng)都是先兩兩相機(jī)計(jì)算相對姿態(tài)，采用按次序或者分層的方法一個個地把相機(jī)添加到整體的重建中。他們的共同缺陷就是，1.每次添加相機(jī)需要做一次集束調(diào)整，這嚴(yán)重影響算法的運(yùn)算速度2.如果增量集束調(diào)整的初始種子沒有選擇好，那么重建的效果會受到影響；3.對于大廣角的場景，增量添加相機(jī)不可避免帶來累積誤差，導(dǎo)致后添加的相機(jī)姿態(tài)變形，特征點(diǎn)位置不精確。

全局的方法：一些全局的算法是分兩步來計(jì)算相機(jī)在世界坐標(biāo)系中的姿態(tài)，他們先計(jì)算相機(jī)的朝向，然后再計(jì)算相機(jī)光心的位置。[Crandall2011]和[Jiang2013][sinha2010]都屬于這種方法，[Crandall2011]利用相機(jī)自帶的GPS信息，建立MRF模型，把相機(jī)的朝向和光心位置看成是隱變量，采用置信傳播算法求解能量最小化可以重建城市級別的SFM。[sinha2010]和[Jiang2013]都是先用[Martinec2007]線性地求解得到所有相機(jī)在世界坐標(biāo)系中的朝向，該方法被驗(yàn)證證明結(jié)果相當(dāng)穩(wěn)定和準(zhǔn)確。但是相機(jī)光心在世界坐標(biāo)系中的位置并不容易求解，因?yàn)閮蓛上鄼C(jī)重建[Nister05]之間的尺度差異未知。[sinha2010]利用兩個相機(jī)重建(I,j),(j,k)之間存在線性關(guān)系(包括尺度和偏移)，先求解所有合法的兩兩重建間的線性關(guān)系，然后利用線性方程組全局地求解所有兩兩重建相對全局世界坐標(biāo)的尺度和偏移，從而兩兩重建中的相機(jī)光心的位置也可以輕松得到。這種方法避免了多次的集束調(diào)整，算法時間上有了很大的提高，但是根據(jù)[Arie-Nachimson2012]，這個方法產(chǎn)生的結(jié)果準(zhǔn)確性無法和傳統(tǒng)的方法比較。[Jiang2013]考察每個共享特征點(diǎn)的三視圖，利用線性方程優(yōu)化三個相機(jī)間的幾何距離關(guān)系，同樣可以聯(lián)立所有的三視圖求解得到所有相機(jī)的光心位置。但是這種方法過于重視相機(jī)間的幾何約束(包括相機(jī)間的旋轉(zhuǎn)角度和基線比例)，忽視了特征點(diǎn)的投影誤差，本文經(jīng)過實(shí)踐證明[jiang2013]方法對于三元組優(yōu)化所得相機(jī)重建結(jié)果的平均投影誤差達(dá)到30-200不等，相機(jī)三元組的重建投影誤差就如此之大，對于算法最后求解的重建，投影誤差依然存在，對于有些數(shù)據(jù)集，由于投影誤差太大，即使做集束調(diào)整也無法得到相對好的結(jié)果。