[發明專利]一種二維圖像組的三維場景重建方法

有效

• 申請號: 200910242340.4
• 申請日: 2009-12-09
• 公開（公告）號: CN101877143A
• 公開（公告）日: 2010-11-03
• 發明（設計）人: 徐常勝;張奕;程健;盧漢清
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T15/00
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 梁愛榮

技術領域

本發明涉及一種從二維圖像組到三維場景模型的三維重建方法。

背景技術

三維場景重建是計算機視覺領域的一項核心內容，在計算機動畫、電子娛樂、虛擬顯示等領域都有著廣泛的應用價值。國內外研究機構和學者對此展開了廣泛研究。

80年代美國麻省理工學院人工智能實驗室的Marr提出了一種視覺計算理論并應用在雙目匹配上，使兩張有視差的平面圖產生在深度的立體圖形，奠定了雙目立體視覺發展理論基礎。早期的三維場景重建主要是以同一場景不同角度拍攝的多幅圖像為基礎恢復場景的三維信息。從二維圖像到三維場景生成通常需要經過圖像獲取、預處理、模型恢復和模型渲染等步驟。其中核心的三維模型恢復環節又可由特征提取與匹配、結構運動恢復、立體匹配和三維模型計算四部分組成。

特征提取與匹配意在將同一時間不同視角視頻幀中對應相同三維目標的點或線對進行匹配，是三維重建過程中最基礎的一步，直接影響到后續步驟的效果。結構運動恢復的任務是標定攝像機參數，主要方法分為離線標定和在線自標定兩大類。立體匹配是在恢復攝像機運動和投影結構之后，通過生成場景的深度圖來建立場景的三維模型，這一過程通常分為校正和匹配兩步完成。三維模型計算是在以上得到的各點匹配圖的基礎上，通過三角關系可以計算得到場景的深度圖。當存在多視角的情況下，需要對同一場景獲取到的多幅深度圖進行有效的融合。在融合過程中引入空間連續性等先驗知識對提高融合效果具有重要影響。

從二維圖像到三維立體的三維重建過程不但是把點狀圖像信息變換成整體描述的一個聚集過程，還可以通過加入某些先驗信息改善和提高信息的聚集。現有的三維重建利用的先驗信息均為客觀信息，尚缺乏利用人類主觀感知改善局部三維重建效果的有效方法。

發明內容

本發明的目的是在二維圖像序組到三維場景模型的重建問題中引入人類視覺感知機理，利用視覺關注度模型對特征進行選擇與匹配、并將視覺關注度引入三維模型的計算，對現有三維重建關鍵技術進行改進和補充，為提高受關注局部區域重建的精度、使三維重建結果更加符合人類的視覺感知、本發明提供一種二維圖像組的三維場景重建方法。

為了實現以上目的，本發明提供的二維圖像組的三維場景重建方法包括以下步驟：

步驟S1：輸入圖像組中每幅圖像計算各像素的關注度評價；

步驟S2：在輸入圖像組的各幅圖像上提取尺度不變特征變換特征點，并且對圖像組中兩兩圖像上的特征點進行匹配和選擇，獲得的匹配特征點，匹配和選擇的原則包括特征點對的特征空間相似度以及獲得的特征點相對應的視覺關注度；

步驟S3：利用獲得的匹配特征點對對攝像機參數進行估計；

步驟S4：用選取的匹配特征點對、相應特征點的關注度評價以及估計得到的攝像機參數求取優化的三維場景模型。

其中，各點視覺關注度的權值按以下方法確定：某像素的視覺關注度由該像素與周圍鄰域內像素的顏色對比度經歸一化描述，此關注度描述對應于該點在特征點選擇和匹配、三維表面模型優化過程中的關注度權值。

其中，在特征點匹配和選擇過程中，將特征點的視覺關注度以加權形式引入特征點匹配度的衡量，在選擇匹配點時，優先選擇視覺關注度高的匹配點對用于后期重建。

其中，在三維場景模型優化過程中，在優化函數的特征點投影一致性項中引入特征點關注度加權，優先提高受關注度點附近重建模型的精度。

本發明的優點在于：本發明在二維圖像序組到三維場景模型的重建問題中引入人類視覺感知機理，利用視覺關注度模型對特征進行選擇與匹配、并將視覺關注度引入三維模型的計算，對現有三維重建關鍵技術進行改進和補充，提高受關注局部區域重建的精度，使三維重建結果更加符合人類的視覺感知，為虛擬現實等應用提供支持。根據人類視覺認知特性，為用于重建的圖像中各點確定其視覺關注度評價。在二維圖像上提取特征點，并在圖像間進行特征點匹配，匹配中用特征點的視覺關注度對匹配度進行加權，優先選擇視覺關注度高的特征點進行匹配。用匹配點對計算優化的三維模型。在優化目標中的各向投影一致性評價中引入視覺關注度加權，減小關注度高的區域的模型誤差。考慮了人類關注度在三維重建質量評價中的作用，在重建中優先提高關注度高的區域的三維模型精度，相對傳統三維重建方法，能夠獲得更好的感官認知效果。本發明方法可被運用于虛擬現實等實際應用中。

附圖說明

圖1本發明基于視覺關注度的三維重建基本流程

圖2本發明感興趣度加權的特征點

具體實施方式