[發明專利]基于深度學習的點云數據三維重建方法和系統

有效

• 申請號: 202310483537.7
• 申請日: 2023-05-04
• 公開（公告）號: CN116258835B
• 公開（公告）日: 2023-07-28
• 發明（設計）人: 石小川;馬超;張典;李烺琛
• 申請（專利權）人: 武漢大學
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06T5/00;G06T7/246;G06V10/42;G06V10/80;G06N3/0464;G06N3/0455;G06N3/047;G06N3/082
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 王琪

1.基于深度學習的點云數據三維重建方法，其特征在于，包括如下步驟：

步驟1，針對被掃描物體，利用三維激光掃描儀從多個不同的角度進行多次掃描，得到對于同一個待掃描物體的多幅點云數據；

步驟2，對采集的多幅點云數據進行預處理，包括去除離散點和將噪聲點恢復到正確的位置上；

步驟2中，首先進行局部劃分，將每幅點云數據分成多個局部patch，每個局部patch以一個中心點為中心，包含距離中心r范圍內的所有點；

其次，將每個局部patch輸入到四元空間轉移網絡，學習到四維向量，通過這個四維向量，將原始點云遷移到一個新的位姿狀態，然后通過一個全連接層改變位姿狀態的維度，使用多層感知機網絡提取逐個點云的特征，并對每個點云的特征向量做逆變換，還原到原本的位姿；在獲得處理完的逐點特征向量后，對一個patch中的每個點的特征向量進行融合得到一個局部patch的特征向量；

最后對融合的特征向量使用若干全連接層進行回歸處理，獲得最終結果；

步驟3，對于任意兩幅點云數據，根據源點云和目標點云計算一個變換關系，將源點云對齊至目標點云所處的坐標系下，從而實現點云的配準，最終得到一個完整的點云圖像；

步驟4，對非結構化的點云圖像進行表面重構，得到點云數據的三角網格模型，再經過優化和渲染，得到逼近于實物的三維模型。

2.如權利要求1所述的基于深度學習的點云數據三維重建方法，其特征在于：通過改變最后一個全連接層的通道數量實現離散點的去除和噪聲點的恢復，對離群點的判定：最后一個全連接層的通道數量設定為1，過程描述函數g，o_i表示該點為離群點的概率，自行設置閾值o，即o_i時，判定p_i′為離群點，將其去除，所有離群點的集合記為對噪聲點判定：最后一個全連接層的通道數量設定為3，過程描述函數f，d_i表示學習到的每個點的偏移向量，修正后的點即為P′表示原始的噪聲點云，p_i′表示原始的噪聲點云中的一個點。

3.如權利要求1所述的基于深度學習的點云數據三維重建方法，其特征在于：步驟3中任意兩幅點云數據進行配準的具體實現方式如下；

首先，分別對源點云和目標點云進行特征提取，得到兩個全局特征，然后，將這兩個全局特征進行拼接得到兩個點云的合并特征，所述拼接操作是為了讓源點云和目標點云產生關聯，以便在后續的處理中能夠更好地進行匹配和對齊；

接下來，將合并特征作為輸入，通過五個全連接層來計算點云之間的變換關系，最后的輸出是一個七維的向量，其中前三位是平移向量，后四位是單位四元數，將單位四元數轉換為旋轉矩陣，根據輸出的平移向量和旋轉矩陣將源點云進行平移和旋轉操作，即將源點云對齊至目標點云所處的坐標系下；

最后，將對齊后的源點云和目標點云進行融合。

4.如權利要求1所述的基于深度學習的點云數據三維重建方法，其特征在于：步驟4中，通過神經網絡分辨出點云的表面形狀點，形狀外點和形狀內點，而后對表面形狀點上的每一幀點云進行體素表面重構，得到點云數據的三角網格模型，形狀外點和形狀內點不參與重構；表面重構的具體實現方式如下；

首先初始化一個空三角形網格，然后執行以下操作：

41，獲取當前體素在(x,y,z)處的立方體cube，包含8個頂點；

42，獲取當前立方體cube的邊界集合，該邊界集合為所有占據概率在[0.5-tau,0.5+tau]區間內的點的集合，tau為設置的閾值；

43，對于集合中的每個點，執行以下操作：

i.選取頂點v1和v2，其中其中p1和p2分別為頂點v1和v2的占據概率，p10.5,p20.5；

ii.通過插值函數插值(v1,v2,p1,p2)獲得一個新的占據概率等于0.5的插值點vertex；

iii.將插值點vertex添加到三角形網格M中；

44，構建當前立方體cube的三角形面列表，該列表包含當前cube中占據概率為0.5的點和剛生成的vertex點；

45，對于每個三角形面，將其添加到三角形網格M中，當所有三角形面都已經添加到三角形網格中，算法結束。