[發明專利]一種針對圖像序列的三維重建方法

在審

• 申請號: 202110638233.4
• 申請日: 2021-06-08
• 公開（公告）號: CN113284230A
• 公開（公告）日: 2021-08-20
• 發明（設計）人: 姚莉;張浩;楊俊宴;吳含前
• 申請（專利權）人: 東南大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06K9/46
• 代理公司: 南京眾聯專利代理有限公司 32206
• 代理人: 張天哲

1.一種針對圖像序列的三維重建方法，其特征在于，所述方法包括以下步驟：

步驟1：對采集到的圖像序列采用SURF算法和LSD算法分別進行點特征和線段特征的檢測；

步驟2：采用基于最近鄰與次近鄰比的匹配策略做匹配計算；

步驟3：將圖像劃分為不同的局部區域，以局部區域作為研究對象進行匹配過濾依據；

步驟4：針對同一局部區域，對某種圖像分別計算其相鄰兩側圖像的特征向量，相同則保留相異則過濾；

步驟5：提出一種基于最大生成樹思想的增量式恢復重建，對圖像序列進行稀疏重建，得到稀疏點云；

步驟6：對稀疏點云進行特征初匹配，得到稠密重建中的種子點云；

步驟7：利用面片模型相關理論，將稀疏重建得到的稀疏點云進行建立面片模型，并進行面片過濾；

步驟8：提出一種基于立體匹配的面片擴散優化方案進行面片擴散，通過立體匹配中的傳播和隨機搜索過程尋找到待擴散面片，最終得到高精度的稠密重建模型。

2.根據權利要求1所述的一種針對圖像序列的三維重建方法，其特征在于，所述步驟2-4的具體過程如下：首先對特征匹配策略進行評測，定義最近鄰與次近鄰比為p＝d₁/d₂，公式中d₁和d₂分別表示最近鄰距離與次近鄰距離；對基于固定閾值的特征匹配、基于最近鄰的特征匹配和基于次近鄰的特征匹配策略的三種二維圖像特征匹配策略進行評測，確定好最近鄰距離與次近鄰距離的匹配策略；其次，將圖像劃分為不同的局部區域，針對同一局部區域，對某種圖像分別計算其相鄰兩側圖像的特征向量，如果某個局部區域相鄰圖像均存在特征向量匹配，則不予處理，否則將其過濾。

3.根據權利要求1所述的一種針對圖像序列的三維重建方法，其特征在于，所述步驟5的具體過程如下：

步驟5.1：首先對所有待匹配的二維圖像集合中兩兩匹配，并將其中匹配對數最多的兩個二維圖像提取出來，并將這個二維圖像計算旋轉矩陣和平移矩陣，結合三角測量的原理計算出三維場景中某個點的坐標，重建出初始場景；

步驟5.2：添加下一個二維圖像，在之前的模型中找到同一個三維場景中的點，然后利用PnP原理進行求解，結合三角測量，更新新的二維圖像的平移矩陣和旋轉矩陣；在原有基礎上，引入圖論模型，來優化平移矩陣和旋轉矩陣，以及三維場景中的點；在優化過程中，需要計算二維圖像的重投影誤差，并進行迭代優化，然后祛除誤差外的點；

步驟5.3：重復步驟5.2直到二維圖像添加完畢；

結合最大生成樹思想，基于圖像序列的稀疏重建過程中，可以把二維圖像作為圖的頂點，而二維圖像對之間的匹配關系視為圖的邊，因此可以把二維圖像之間的對應匹配關系轉換為圖論中完成最大生成樹的問題；接下來開始建立數學模型，設二維圖像待匹配集合為E，已經完成匹配的集合為V，而其中無向加權圖G表示已經匹配過的路徑。

4.根據權利要求1所述的一種針對圖像序列的三維重建方法，其特征在于，所述步驟6-8的具體過程如下：

(一)面片確定

為了準確地進行二維圖像的選擇，使用雙層視圖的思想；在圖像層這層視圖，作為全局性上的考慮，進行全局性視圖選擇，為參考面片從待匹配的面片中挑選正確的鄰域面片集合，作為全局性的視圖集合；在像素層這層視圖上，作為局部性上的考慮，進行局部性視圖選擇，從上述的全局視圖選擇的鄰域面片集合中為每個面片尋找最適配的面片，最適配的面片通常與待匹配面片相關；

(a)全局視圖選擇

在對參考面片進行全局視圖選擇過程中，每個面片都要確定其鄰域集合；在選擇全局視圖過程中，要考慮到二維圖像中圖像信息以及二維圖像之間重疊區域；需要結合距離函數來衡量每個面片與其待匹配面片之間的距離，從而找到最佳匹配面片；將稀疏重建生成的稀疏點云作為種子面片，對種子面片計算面片之間的共同特征點，特征點匹配的越多，表示面片之間越匹配，二維圖像之間重疊度也就越高；

對于每個面片來說，參考面片鄰域集合中的每個面片的距離函數可嘗試多種距離衡量，采用歐式距離作為最簡單的距離衡量函數；在集合中對鄰域面片中所有匹配面片對的積的權重函數，從而使得匹配面片可以在原有較好解決視差的基礎上，更好的實現面片的匹配；在對兩個面片的特征點進行匹配計算時，其相似性衡量也要考慮分辨率的問題；

(b)局部視圖選擇

在上述的全局式選擇中，選擇的鄰域中的面片個數視情況而定，并且參考面片的待匹配面片也在集合中；在目標匹配面片中的像素中，在像素級別上以該像素點為研究對象，從待匹配的圖像中進行像素級別的匹配，從局部視圖中需要將待匹配圖像進行更新；通常像素和面片都是具有方向性的；對于一個像素來說，當已知像素的深度和法向量，在相機坐標系下進行求解三維場景下的點，并且可以獲取每個參考面片和待匹配面片在攝像機光心下光線的角度；此外，針對每個待匹配面片，需要計算待匹配面片與參考面片的攝像機光心之間的距離；根據上述的距離與夾角的乘積，以乘積為依據，把全局視圖獲取到的鄰域面片集合中的待匹配面片進行排序，并且乘積排序是升序排序；在升序序列中，選取乘積最小的；計算出三維場景中的點在二維圖像中處于可見位置，選擇該面片作為參考面片的最佳匹配搜索面片；從當前像素計算以局部視圖進行選擇候選面片；

(二)面片匹配

在對候選面片進行匹配的過程中，利用匹配代價函數，結合立體匹配思想搜索最佳匹配面片；把種子面片上的每一個像素點為研究對象，搜索像素點對應三維場景下的局部切平面，最終使得參考面片與候選的待匹配面片在上述的匹配代價函數計算，從而完成代價最小的目的；上述的切平面類似于面片模型中的面片，可以用某個三維場景中的點以及從點到相機光心組成的法向量來描述；

對于一個參考面片I_i以及待匹配面片I_j，對每個參考面片中的像素點所在的平面，像素點所在的三維場景點自然在其所在直線上，設二維圖像中深度信息為d，像素點在世界坐標系下的坐標為X_i，于是有：

假設參考面片和待匹配面片的攝像機參數為{K_i,R_i,C_i}和{K_j,R_j,C_j}，其中K表示攝像機的內參，R為攝像機變換中的旋轉矩陣，C表示攝像機的中心；

匹配代價函數ANCC方法作為面片匹配中的相似度測量，該方法結合到像素級別的色度領域空間以及空間幾何空間中考慮鄰近性，并做權重衡量計算，從而計算對應面片之間的匹配代價，ANCC方法公式表達為：

在公式中，匹配代價的范圍是[-1,1]。；通常，應該保證C為正值，因此可以用1-C來代替匹配代價C；

(三)面片隨機搜索

假設在面片中某個像素點的坐標為(x,y)，已知像素點及其鄰居像素點的深度信息和法向量方向；將鄰居像素點的信息傳遞給該像素點，并計算在像素點的匹配代價；如果代價變小，說明鄰居像素點搜索效果較好，應該把鄰居像素點的深度信息和法向量傳遞給該像素點，否則的話不做處理；在搜索次數為奇數的時候應該從面片的右下角開始往左上角進行搜索，否則的話應該從左上角往右上角進行搜索；在搜索的時候，對深度和法向量可以添加隨機偏移量，并從均勻分布的隨機偏移量樣本中進行選取，從而防止局部最優的限制。