[發明專利]一種針對圖像序列的三維重建方法

在審

• 申請號: 202110638233.4
• 申請日: 2021-06-08
• 公開（公告）號: CN113284230A
• 公開（公告）日: 2021-08-20
• 發明（設計）人: 姚莉;張浩;楊俊宴;吳含前
• 申請（專利權）人: 東南大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06K9/46
• 代理公司: 南京眾聯專利代理有限公司 32206
• 代理人: 張天哲

本發明提供了一種針對圖像序列的三維重建方法,針對未知排列的圖像序列對，利用局部優化的思想和面片模型方案來改善稀疏重建和稠密重建中存在的問題。稀疏重建時，提出一種局部區域劃分的匹配策略，并結合匹配策略使用基于最大生成樹思想的增量式稀疏重建方案得出稀疏點云；稠密重建中，提出一種基于立體匹配的面片擴散優化方案進行面片擴散，通過立體匹配中的傳播和隨機搜索過程尋找到待擴散面片，最終得到高精度的稠密重建模型。本發明能夠應對多圖像序列下的重建需求，并能有效地提升圖像序列的稀疏重建效果和稠密重建效果，生成一個高質量的三維重建模型。

技術領域

本發明涉及一種二維圖像三維重建的方法，特別涉及一種無序二維圖像的稀疏重建和稠密重建方法，屬于計算機視覺和圖像處理領域。

背景技術

三維重建是一個很復雜的系統過程，目前國內外學者研究絕大多數都是側重重建中某個環節進行重點研究。隨著深度學習和人工智能的廣泛發展，雖然也有不少學者針對重建中某個具體過程(如深度信息獲取)進行研究，但是并不是從端到端進行生成三維模型。目前基于圖像序列的三維重建主要存在著三個普遍的問題，(1)圖像匹配中誤匹配導致的稀疏點云生成很差；(2)稀疏重建中由于添加圖像的拓撲結構問題，會導致累積誤差的存在；(3)稠密點云生成中，由于局部最優導致的模型不夠稠密的問題。。

發明內容

本發明為解決上述問題，提出一種基于無序圖像序列的端到端自動化重建方案，并針對重建中存在的問題提出改進方案。這種方法能夠應對圖像序列的重建需求，同時采用該方法可以得到高質量的稀疏重建和稠密重建結果。

本發明的技術方案包括以下步驟：

步驟1：對采集到的圖像序列采用SURF算法和LSD算法分別進行點特征和線段特征的檢測；

步驟2：采用基于最近鄰與次近鄰比的匹配策略做匹配計算；

步驟3：將圖像劃分為不同的局部區域，以局部區域作為研究對象進行匹配過濾依據；

步驟4：針對同一局部區域，對某種圖像分別計算其相鄰兩側圖像的特征向量，相同則保留相異則過濾；

步驟5：提出一種基于最大生成樹思想的增量式恢復重建，對圖像序列進行稀疏重建，得到稀疏點云；

步驟6：利用稀疏點云進行特征初匹配，得到稠密重建中的種子點云；

步驟7：利用面片模型相關理論，將稀疏重建得到的稀疏點云進行建立面片模型，并進行面片過濾；

步驟8：提出一種基于立體匹配的面片擴散優化方案進行面片擴散，通過立體匹配中的傳播和隨機搜索過程尋找到待擴散面片，最終得到高精度的稠密重建模型。

作為本發明的進一步改進，所述步驟2-4的具體過程如下：首先對特征匹配策略進行評測，定義最近鄰與次近鄰比為p＝d₁/d₂，公式中d₁和d₂分別表示最近鄰距離與次近鄰距離；對基于固定閾值的特征匹配、基于最近鄰的特征匹配和基于次近鄰的特征匹配策略的三種二維圖像特征匹配策略進行評測，確定好最近鄰距離與次近鄰距離的匹配策略；其次，將圖像劃分為不同的局部區域，針對同一局部區域，對某種圖像分別計算其相鄰兩側圖像的特征向量，如果某個局部區域相鄰圖像均存在特征向量匹配，則不予處理，否則將其過濾。

作為本發明的進一步改進，所述步驟5的具體過程如下：

步驟5.1：首先對所有待匹配的二維圖像集合中兩兩匹配，并將其中匹配對數最多的兩個二維圖像提取出來，并將這個二維圖像計算旋轉矩陣和平移矩陣，結合三角測量的原理計算出三維場景中某個點的坐標，重建出初始場景；