[發明專利]基于語義先驗和漸進式優化寬基線致密三維場景重建方法

在審

• 申請號: 201811157420.5
• 申請日: 2018-09-30
• 公開（公告）號: CN109255833A
• 公開（公告）日: 2019-01-22
• 發明（設計）人: 姚拓中;安鵬;何加銘
• 申請（專利權）人: 寧波工程學院
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/11;G06T7/187;G06T7/55
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于語義先驗和漸進式優化寬基線致密三維場景重建方法，其特征在于，所述方法包括步驟：

S1、提供多幅不同視角的圖像，將所有圖像進行超像素分割，劃分為具有局部同質性和非規則形狀的超像素集合；

S2、獲取圖像中各個超像素的初始深度和不同視角圖像之間的位置關系，將高層語義先驗作為約束條件，將處于同一平面的相鄰超像素區域進行區域合并；

S3、將合并的所有區域利用馬爾可夫隨機場模型進行深度估計，獲取原始深度圖；

S4、通過深度融合的方式丟棄錯誤的深度估計并將原始深度圖中冗余的深度信息進行移除，獲取最終三維場景。

2.根據權利要求1所述的基于語義先驗和漸進式優化寬基線致密三維場景重建方法，其特征在于，在步驟S2中，在進行區域合并時，利用馬爾可夫隨機場模型對不同視角圖像中每個超像素平面的位置和朝向進行推理，以確定兩幅待匹配圖像中的兩個超像素是否屬于三維空間中的同一區域；

其中，將第n^th幅圖像中的第i^th個超像素所對應的平面參數α_iⁿ將對應于MRF模型中的一個節點，并在超像素的外觀特征基礎上結合超像素之間的共線性、連接性和共面性，圖像間的對應關系和深度等多元圖像特征創建能量函數：

其中，Ψ為存在對應關系的圖像對集合，為對應于參考圖像n的相機姿態，而d_T為通過三角化得到的深度值。圖像n中的超像素i所對應的平面參數為θ為通過Ground Truth深度數據學習得到的描述不同圖像行特征統計屬性的參數，Yⁿ為通過單幅圖像特征估計得到的超像素平面參數所對應的置信度，指的是圖像n中通過三角化獲得近似的深度，代表是圖像n中通過單幅圖像特征估計得到的超像素平面參數所對應的置信度。

3.根據權利要求2所述的基于語義先驗和漸進式優化寬基線致密三維場景重建方法，其特征在于，能量函數的第一項的計算公式為：

其中，來表示由S_i個像素組成的超像素i中圖像點s_i的特征，為從相機光心發射經過超像素i上三維點s_i的射線，θ_r為通過GroundTruth深度數據學習得到的描述不同圖像行特征統計屬性的參數。

4.根據權利要求2所述的基于語義先驗和漸進式優化寬基線致密三維場景重建方法，其特征在于，能量函數的第二項的計算公式為：

其中，表示兩個像素點s_i和s_j之間的相對距離。

5.根據權利要求2所述的基于語義先驗和漸進式優化寬基線致密三維場景重建方法，其特征在于，能量函數的第三項的計算公式為：

在上式中，假設在圖像m和n中存在J^mn個匹配點對，

而

6.根據權利要求2所述的基于語義先驗和漸進式優化寬基線致密三維場景重建方法，其特征在于，能量函數的第四項的計算公式為：

在圖像n中，有Kⁿ個點可以通過三角化獲得近似的深度d_T。

7.根據權利要求1所述的基于語義先驗和漸進式優化寬基線致密三維場景重建方法，其特征在于，在步驟S2中，利用馬爾科夫隨機場模型獲取圖像中各個超像素的初始深度和不同視角圖像之間的相抵位置關系后，采用高層語義先驗來分別作為超像素之間的新約束，再利用無監督分割法來實現區域合并。

8.根據權利要求7所述的基于語義先驗和漸進式優化寬基線致密三維場景重建方法，其特征在于，基于權重函數W(i,j)并利用無監督分割法來實現區域合并，其中：

在上式中，θ_ij為兩個相鄰超像素i和j之間的各自法線和夾角，OBJ_ij則代表通過基于決策樹的圖像語義標注算法所得到的相鄰i和j之間的語義類別差異，如果兩者屬于相同的語義類則人為賦予OBJ_ij較低的權重，反之則賦予較大的權重，a₁＝a₂＝0.5。