[發明專利]單幅圖像的三維場景重建方法

有效

• 申請號: 200910242416.3
• 申請日: 2009-12-10
• 公開（公告）號: CN101714262A
• 公開（公告）日: 2010-05-26
• 發明（設計）人: 王亦洲;張哲斌;高文
• 申請（專利權）人: 北京大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06K9/62
• 代理公司: 北京市商泰律師事務所 11255
• 代理人: 麻吉鳳;毛燕生

技術領域

本發明涉及一種單幅圖像的三維場景重建方法，屬于計算機視 覺和圖像處理技術領域。

背景技術

從單幅圖像中恢復場景的三維結構是計算機視覺中的一個經典 問題和典型的病態問題，其難度在于，圖像是由場景內容經過攝像 機從三維空間投影到了二維成像平面上，關于場景三維結構的幾何 信息不可避免的受到了損失，從而使該問題病態化。而人類卻能夠 通過自身的認知，準確的從一幅圖像中識別出場景中的空間結構、 遠近關系等三維信息。所以，在計算機視覺領域中，關于單幅圖像 的三維場景重建一直致力于模仿人類認知，從圖像的像素級信息中 獲取各種有助于三維場景理解的信息來實現三維場景重構。

關于單幅圖像三維重建的研究一直是計算機視覺領域的關注點 之一，每年都有大量的文章發表，提出新的方法或理論。經典的單 幅圖像三維重建方法包括：利用場景中存在的平行線、平行面關系 來進行消失點、消失線的推斷從而獲取場景幾何信息；利用場景中 紋理一致性的約束，更具相似紋理的大小關系恢復其所在位置的空 間深度(層次)信息；根據自然場景中大氣濃度、霧氣或者攝像機 焦距引起圖像上不同區域的成像的清晰度來推斷場景的空間信息 等。

上述方法明顯存在的問題是，對數據的依賴性強，顯然并非所 有圖像都會出現其所需要的信息從而導致無法使用重建方法進行重 建。究其根本原因在于只對圖像底層特征信息進行處理而忽略了關 于場景高層語義信息及其相關約束對場景(三維結構)理解的重要 作用，進而引起了圖像信息與場景信息之間的語義空白。近年來， 計算機視覺領域中關于場景理解的建模方法、場景分類技術、物體 識別技術以及機器學習方法的長足發展正是填補上述空白所需要 的。例如斯坦福大學的Saxena等人和伊利諾伊大學香檳分校的 Hoiem等人提出利用機器學習的方法融合多種底層信息來學習場景 模型，進而對場景的三維結構進行推斷。其中，Saxena使用場景深 度探測儀器所獲得的深度圖進行模型學習，在馬爾科夫場(MRF) 模型下建立起圖像特征與深度之間的關聯，從而進行場景三維重建。 但由于其使用了三維網格模型場景的表示，沒有明確三維模型與特 定類型物體的關聯，從而無法使用更高層的語義信息幫助三維重建。 Hoiem等人通過初略的把場景分成上下左右幾個面和前景著地物 體，并通過學習分類器建立起圖像特征與上述各類別的關系，從而 可以推斷圖像中各個像素的幾何屬性(上下左右幾個面和前景著地 物體)，其同樣也未明確物體類型。

此外，北京大學于2009年3月11日申請的申請號為 200810224347.9、發明名稱為“一種基于圖像的三維重建方法”(專 利文件1)，專利文件1公開了一種基于特征點約束的多幅圖像三維 重建方法，該方法包括：對每幅圖像特征點的三維重建，計算每幅 圖像的特征點，對每個特征點進行三維重建，確定所述待重建點空 間位置的搜索范圍；對所述搜索范圍內的點進行采樣，將所有采樣 點投影到圖像，然后根據顏色一致性獲取待重建點在空間的位置。 此外，在專利文件1中還公開了基于單幅圖像的三維重建技術，其 利用統計學習的結果得到對場景中一些結構性信息如天空、地面、 建筑物立面的分類或者得到對場景的特征描述與深度的關系，利用 這些分類結果或者是特征與深度的對應關系可以對場景進行簡單的 三維重建。但其依舊沒有解決上述技術問題。

發明內容

本發明的目的在于提供一種基于場景分類和物體識別的單幅圖 像的三維場景重建方法，與現有的單幅圖像重建方法相比較，該方 法對圖像數據的約束大大放寬，適應性更廣，同時也提高了重建方 法的性能。其借鑒了通過機器學習建立場景幾何屬性與圖像特征之 間關系的方法，同時引入了三維圖形基元的表示，通過對三維圖形 基元及其組合的推理計算，形成一套融合底層圖像特征、高層語義 信息(場景類型、物體類型)、基本基元表示的三維場景重建方法。