[發(fā)明專利]基于同一場景散亂照片集的三維重構方法

無效

• 申請?zhí)枺?/td>: 200810224978.0
• 申請日: 2008-10-29
• 公開（公告）號: CN101398937A
• 公開（公告）日: 2009-04-01
• 發(fā)明（設計）人: 齊越;沈旭昆;何爽
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T11/00
• 分類號: G06T11/00
• 代理公司: 北京科迪生專利代理有限責任公司
• 代理人: 賈玉忠;盧 紀

技術領域

本發(fā)明屬于虛擬現(xiàn)實技術與計算機視覺領域，具體地說是由同一場景的散亂照片進行三維重構，包括恢復相機的拍攝位置、方向和視域，以及稠密的3D場景點云模型，主要用于對PC或Internet上數(shù)碼照片資源進行三維組織、以及基于圖像的繪制與瀏覽等。

背景技術

計算機視覺中，多視圖幾何的三維重建理論和算法在過去的二十幾年里已經(jīng)得到了較成熟的發(fā)展，文獻1—R.Hartley，and?A.Zisserman，Multiple?View?Geometry?in?Computer?Vision，Cambridge?University?Press，2000.全面深入地推導并總結了相關理論和算法。針對相機已標定或未標定的不同情況，由一組特征對應同時恢復未知的三維場景結構和相機位置的方法(Structure?from?Motion，SfM)都已得到成功應用。但是傳統(tǒng)的三維重構通常針對的是序列圖像，可由相機拍攝或從視頻中提取序列圖像幀，序列圖像具備進行三維重構至關重要的良好性質1)相繼圖像間的相機中心距離(基線)小，小基線能保證較好的特征匹配；2)圖像有序，非常有利于特征匹配、特征點跟蹤串聯(lián)的質量和效率，尤其是它們保證了相機較均勻規(guī)則的運動，這對三維重構計算和相機運動參數(shù)的恢復有著決定性影響。

然而隨著數(shù)字攝像技術與Internet的迅速發(fā)展，有不可計數(shù)的圖像資源在傳播與共享，這些圖像的復雜性對基于圖像的三維重構技術在Internet上的發(fā)展和應用提出了巨大挑戰(zhàn)，這些無組織、未定標的圖像可能拍攝年代不同，且具有不同光照、不同分辨率、不同圖像質量，傳統(tǒng)的三維重建方法已經(jīng)遠遠不能滿足這樣的需求。

文獻2—M.Brown?and?D.Lowe，Unsupervised3d?Object?Recognition?and?Reconstruction?inUnordered?Dataset，Proc.International?Conf.on3D?Digital?Imaging?and?Modeling，pp.56-63，2005.提出了一種無監(jiān)督的基于無序圖像庫的三維物體識別與重建方法，首先利用SIFT特征算子在所有圖像中尋找匹配，用RANSAC算法尋找滿足基礎矩陣約束的一致匹配，將每個匹配子集看作一個三維物體的構成，然后分別用SfM(Structure?from?Motion)方法同時恢復相機運動和三維物體幾何信息。但該方法存在缺陷有1)假設匹配錯誤率非常高，經(jīng)過RANSAC算法剔除的錯誤匹配很少，計算的基礎矩陣不可靠；2)以最佳匹配對作為SfM初始相機對，而不考慮退化情況極易導致病態(tài)估計；3)恢復的幾何信息是稀疏三維特征點，遠不能滿足視覺需求。

文獻3—N.Snavely，S.Seitz，and?R.Szeliski，Photo?Tourism：Exploring?Photo?Collections?in3D，Proc.ACM?Transactions?on?Graphics，25(3)：835-846，2006.利用特征匹配和SfM方法自動恢復相機姿態(tài)和場景的稀疏三維點，并結合視圖變形、非真實感渲染等基于圖像會制技術，開發(fā)了一個端到端3D照片瀏覽系統(tǒng)，即為微軟公司產(chǎn)品Photosynth的前身。其三維重建方法類似文獻2，主要改善了文獻2方法的前兩點缺陷：1)提高了初始匹配特征域約束的比率與RANSAC估計中的錯誤概率，提高了計算可靠性；2)進行初始相機姿態(tài)估計，更合理地選擇SfM過程的初始相機對，增加了對退化情況的檢查，并利用EXIF數(shù)據(jù)中的焦距信息估計初始相機內(nèi)參。但重建結果仍然是稀疏的三維場景點，通過增加圖像的辦法可以獲得更多的三維特征點，但隨著圖像的增加，SfM過程的速度變的非常慢，根據(jù)文獻3的實驗數(shù)據(jù)，需要花幾天的時間處理1千張照片。