[發明專利]一種基于結構先驗的規則場景三維信息提取方法

有效

• 申請號: 201210150207.8
• 申請日: 2012-05-16
• 公開（公告）號: CN102682477A
• 公開（公告）日: 2012-09-19
• 發明（設計）人: 劉天亮;焦增濤;王亮;莫一鳴;朱秀昌
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06T17/00
• 分類號: G06T17/00
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 楊楠

技術領域

本發明涉及一種三維信息提取方法，尤其涉及一種基于結構先驗的規則場景三維信息提取方法，用于基于多視點圖像的規則場景三維結構重建，屬于圖像處理技術領域。

背景技術

基于圖像的三維場景重建是指利用攝像機等設備拍攝的圖像作為輸入，綜合運用多種技術，研究三維空間中點、線、面等三維結構基元的三維坐標與二維圖像中對應二維點、線、面的二維坐標之間的關系，確定物體的三維信息的技術。經過多年的創新和發展，已經成為計算機視覺的重要研究內容之一，而人工建筑物等規則場景往往與人們日常生活息息相關。因此，基于圖像的規則場景三維重建具有重要的學術意義和推廣應用價值。

由于這類規則場景投影的二維圖像含有許多低紋理或者重復紋理區域，傳統三維重建算法提取其三維信息的效果欠佳，其原因主要有：

1）室內場景包含很多無紋理或低紋理的結構表面（比如光滑的墻面、地板及天花板等），對于這些幾何結構，可以提取到的顯著特征點數目有限。于是，基于多視點立體算法重建三維場景時，各個視點之間的特征匹配關系極為有限，以至于無法為三維幾何空間提供足夠的約束信息。

2）各視點圖像之間存在較嚴重的遮擋。室內場景包含多個房間，其中的房門投影至附近相鄰視點得到的二維圖像內容有可能相差很大，存在嚴重的遮擋現象。

基于圖像的三維重建，其傳統算法在重建室內場景上的不足，是客觀存在的，本質上是因為由二維圖像求解三維場景結構是一個病態問題，在二維圖像獲取的過程中丟失了大量的三維信息。不過，在場景結構幾何分布上，規則場景通常具有較強的規律性，比如平坦表面、顯著角點和基于軸對稱的幾何關系等。規則場景中存在的這些規則幾何結構，可以作為場景重建過程中有利的幾何約束條件，為簡化重建任務、有效提取相應三維結構提供了便利，并使之成為可能。

重建規則場景過程中，在利用幾何先驗信息方面，通常采用Manhattan-world?stereo模型【Y.?Furukawa,?B.?Curless,?S.?M.?Seitz.?Manhattan-world?stereo?[C].?Proceedings?of?International?Conference?on?Computer?Vision?and?Pattern?Recognition(CVPR).?2009,?1422-1429】近似逼近表達這類規則幾何場景。假設待重建場景中幾何結構平面的方向都是三個近似相互垂直的主軸方向中的一個，在很大程度上，該假設可以滿足許多現實情況，從而極大地降低規則場景的三維信息提取、分析與處理的計算復雜度。還有一些學者直接從規則場景中提取特定的三維空間平面或者三維線段，從而實現三維信息有效獲取的過程。如何利用這些幾何先驗信息優化建模三維場景，進一步提取相應的三維模型信息是一項具有挑戰性的難題和研究熱點。大部分研究人員都是根據幾何結構先驗信息，采用馬爾科夫隨機場模型（MRF）建模三維信息提取過程，利用相應MRF模型構建的全局評價能量函數，并對其進行最優化求解。Furukawa等人【Y.?Furukawa,?B.?Curless,?S.?M.?Seitz.?Manhattan-world?stereo?[C].?Proceedings?of?International?Conference?on?Computer?Vision?and?Pattern?Recognition(CVPR).?2009,?1422-1429】認為，在各個視點圖像中為每個像素分配一個三維顯著平面的標記，以此標注該像素是由哪個三維顯著平面上的空間三維點投影而成的，通過對此問題構建基于MRF模型的全局代價能量函數，并用圖割優化方法求解并產生各個視點的稠密深度圖，從而進一步利用一種基于軸對齊方式深度圖融合方法產生關于待重建場景的完整稠密三維模型。類似地，Sinha等人【S.?N.?Sinha,?D.?Steedly,?R.?Szeliski.?Piecewise?planarstereo?for?image-based?rendering?[C].?Proceedings?of??International?Conference?on?Computer?Vision?(ICCV).?2009,?1881-1888】則在各個視點圖像中逐像素分配一個標記，構建一個含有多個標注的MRF馬爾科夫隨機場模型；在基于圖割全局優化求解過程中，考慮并整合了各種幾何先驗約束。Branislav等人【B.?Micusik,?J.?Kosecka.?Multi-view?Superpixel?Stereo?in?Urban?Environments?[J].?IEEE?Transactions?on??International?Journal?of?Computer?Vision?(IJCV).?2010?,?89(1):?106-119】，利用各個視圖之間所誘導的單應矩陣，構造馬爾科夫隨機場模型；采用基于平面掃描方法優化各個分割區域對應的空間三維平面，從而進一步完成關于待重建場景的完整稠密三維模型獲取過程。