[發(fā)明專利]基于語義先驗和漸進式優(yōu)化寬基線致密三維場景重建方法

在審

• 申請?zhí)枺?/td>: 201811157420.5
• 申請日: 2018-09-30
• 公開（公告）號: CN109255833A
• 公開（公告）日: 2019-01-22
• 發(fā)明（設計）人: 姚拓中;安鵬;何加銘
• 申請（專利權）人: 寧波工程學院
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/11;G06T7/187;G06T7/55
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明提供一種基于語義先驗和漸進式優(yōu)化寬基線致密三維場景重建方法，所述方法包括步驟：提供多幅不同視角的圖像，將所有圖像進行超像素分割，劃分為具有局部同質性和非規(guī)則形狀的超像素集合；獲取圖像中各個超像素的初始深度和不同視角圖像之間的位置關系，將高層語義先驗作為約束條件，將處于同一平面的相鄰超像素區(qū)域進行區(qū)域合并；將合并的所有區(qū)域利用馬爾可夫隨機場模型進行深度估計，獲取原始深度圖；通過深度融合的方式丟棄錯誤的深度估計并將原始深度圖中冗余的深度信息進行移除，獲取最終三維場景。上述方法在不同的寬基線環(huán)境下均能夠取得比傳統(tǒng)方法更為穩(wěn)定和精確的三維重建效果。

技術領域

本發(fā)明涉及圖像處理領域，尤其涉及基于語義先驗和漸進式優(yōu)化寬基線致密三維場景重建方法。

背景技術

作為計算機視覺領域的一大研究熱點，三維場景重建技術已被廣泛研究并應用于航空航天，無人駕駛和數(shù)字娛樂等諸多領域中。傳統(tǒng)的三維場景重建技術在多個不同視角拍攝的圖像序列基礎上，采用基于運動的結構恢復法(Structure From Motion，SFM)以遞歸的形式估計相機的姿態(tài)并將場景以稀疏點云或致密模型的形式加以三維呈現(xiàn)。實現(xiàn)該技術的關鍵問題之一是如何準確找到不同視角圖像之間的對應關系。由于拍攝時相機的位置和姿態(tài)通常存在隨意性，相機之間通常存在較大的運動變化(即相機光心之間存在較長的基線)，造成不同視角間存在顯著的遮擋和幾何形變，從而大大增加圖像匹配的難度，這就是經(jīng)典的寬基線匹配問題。該問題經(jīng)常存在于機器人視覺導航，航拍地圖構建，增強現(xiàn)實等諸多應用領域中，具有重要的研究意義。

寬基線圖像匹配問題最早于1998年由牛津大學機器人研究團隊的Pritchett和Zisserman提出，此后諸多研究聚焦于設計更魯棒的特征以用于估計本質矩陣。Tuytelaars等人和Xiao等人使用了仿射不變特征，而其他很多工作則使用了SIFT描述子以及強調速度的Daisy描述子或者基于尺度不變的描述子。除此之外，Bay等人和Micusik等人分別使用了線段和由線段構成的矩形作為特征，而諸如MSER或者紋理描述子等區(qū)域特征也在寬基線環(huán)境下被使用，還有的描述子設計更多考慮了應對遮擋的情況。在致密場景重建中，點和區(qū)域特征應用非常廣泛，比如SIFT-flow，Patch-match，空間金字塔匹配以及形變模型的使用都有助于寬基線環(huán)境的場景重建。總體上，基于區(qū)域的匹配是目前寬基線條件下的主流趨勢之一，其具有比點和線等特征能更為魯棒而精確地反映彼此相似度或差異性的特點。

值得注意的是，在SFM過程中基于三角化的幾何估計方法要求相鄰視角之間的相機運動較小，而這在寬基線條件下通常無法滿足。目前，已有不少研究成果通過人工智能技術在單幅圖像上實現(xiàn)了場景的深度估計，三維結構推理和語義標注等。一些研究開始利用單幅圖像推理得到的語義信息，致力于改善傳統(tǒng)基于多視角幾何的深度估計，SLAM視覺導航系統(tǒng)的三維稀疏點云估計以及致密三維模型重建的精度。不過，迄今為主的絕大多數(shù)上述工作，無論是稀疏三維重建還是致密三維重建，幾乎都還是基于窄基線的環(huán)境應用。傳統(tǒng)基于幾何的三維重建方法和語義的融合，開始成為發(fā)展趨勢之一，而這也更符合人類對于場景的認知方式，而這也將在基于寬極線的三維重建中發(fā)揮作用。因此，提供一種在不同的寬基線環(huán)境且具備高精確度的三維重建方法，成為目前亟待解決的問題。

發(fā)明內(nèi)容

本發(fā)明的技術方案是：一種基于語義先驗和漸進式優(yōu)化寬基線致密三維場景重建方法，所述方法包括步驟：

S1、提供多幅不同視角的圖像，將所有圖像進行超像素分割，劃分為具有局部同質性和非規(guī)則形狀的超像素集合；

S2、獲取圖像中各個超像素的初始深度和不同視角圖像之間的位置關系，將高層語義先驗作為約束條件，將處于同一平面的相鄰超像素區(qū)域進行區(qū)域合并；

S3、將合并的所有區(qū)域利用馬爾可夫隨機場模型進行深度估計，獲取原始深度圖；

S4、通過深度融合的方式丟棄錯誤的深度估計并將原始深度圖中冗余的深度信息進行移除，獲取最終三維場景。