[發明專利]一種基于特征點提取及精配準優化的多視角高分辨率點云拼接方法

有效

• 申請號: 202210209531.6
• 申請日: 2022-03-03
• 公開（公告）號: CN114648445B
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 殷春;馮怡婷;張梟;陳凱;朱丹丹;王文;茍軒
• 申請（專利權）人: 電子科技大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G01B11/24
• 代理公司: 成都行之智信知識產權代理有限公司 51256
• 代理人: 溫利平

1.一種基于特征點提取及精配準優化的多視角高分辨率點云拼接方法，其特征在于，包括：

(1)、提取子區域高分辨率點云特征點

1.1)、基于編碼結構光高分辨率雙目模塊對航空航天零部件進行多視角三維掃描，得到K個依次包含重疊區域的子區域高分辨率點云P₁,P₂,...,P_K；

對每個子區域高分辨率點云進行凹凸面特征判斷：

當為凹面特征時，對該子區域高分辨率點云的每一個待檢測點p_i計算其凹特性：

對于鄰域尺度r₁，獲取待檢測點p_i在鄰域尺度r₁下的鄰近點集合其中，表示第j個鄰近點，k₁表示鄰近點數量，計算鄰近點重心得到內積

構建待檢測點p_i與鄰近點集合的加權協方差矩陣并進行特征值分解得到降序排序的特征值令：

計算待檢測點p_i的法向量n_i與中各個鄰近點的法向量的內積，統計內積小于閾值τ的數量k；

若保留待檢測點p_i為候選特征點并計算其與重心點的重心距離否則，拋棄該待檢測點p_i；

同理，對于鄰域尺度r₂，可以得到該鄰域尺度的候選特征點及其與重心點的重心距離否則，拋棄該待檢測點p_i；

當為凸面特征時，對該子區域高分辨率點云的每一個待檢測點p_i計算其凸特性：

對于鄰域尺度r₁，獲取待檢測點p_i在鄰域尺度r₁下的鄰近點集合其中，表示第j個鄰近點，k₁表示鄰近點數量，計算鄰近點重心得到內積

構建待檢測點p_i與鄰近點集合的加權協方差矩陣并進行特征值分解得到降序排序的特征值令：

計算待檢測點p_i的法向量n_i與中各個鄰近點的法向量的內積，統計內積小于閾值τ的數量k；

若保留待檢測點p_i為候選特征點并計算其與重心點的重心距離否則，拋棄該待檢測點p_i；

同理，對于鄰域尺度r₂，可以得到該鄰域尺度的候選特征點及其與重心點的重心距離否則，拋棄該待檢測點p_i；

這樣得到雙鄰域尺度r₁和r₂下的高分辨率點云的候選特征點集合及對應的重心距離集合候選特征點集合以及對應的重心距離集合

對重心距離集合進行降序排序，分別保留雙鄰域尺度前m大的重心距離對應的候選特征點，并取交集得到視覺高分辨率點云的特征點集合其中，表示第i個特征點，v表示特征點數量；

(2)、對每個子區域高分辨率點云獲取的特征點集合構建特征點對應的低維特征描述子

對每一個特征點執行以下步驟：

2.1)、計算鄰域尺度r₁下的特征描述值：

對特征點與鄰域尺度r₁下的鄰近點集合的加權協方差矩陣進行特征值分解得到降序排序的特征值

計算離散程度差：

計算特征點與鄰近點集合的加權曲率均值：

其中，c_j表示鄰近點的曲率，加權函數

計算表征鄰域尺度r₁下的法向量夾角變化值：

其中，為特征點與鄰近點的法向量夾角；

2.2)、按照步驟2.1)的方法，計算得到鄰域尺度r₂下的特征描述值：

2.3)、首先構建特征點的低維特征描述子

然后對低維特征描述子的各個維度數據進行歸一化處理，這樣得到子區域高分辨率點云的特征點集合對應的歸一化后的低維特征描述子集合

(3)、粗配準初始對齊相鄰視角高分辨率點云

對包含重疊區域的高分辨率點云P₁、P₂，經過步驟(1)、(2)得到其對應特征點及描述子集合分別為

將高分辨率點云P₁作為目標點云，高分辨率點云P₂作為源點云，設置循環次數α；

每次循環從源點云特征點及描述子集合中隨機選擇三個間距大于最小距離閾值的特征點，基于對應的低維特征描述子間的相似性度量找到目標點云中對應的三個特征點，得到匹配的三對特征點，通過三對特征點計算此次循環得到的旋轉矩陣R和平移向量T；

對源點云特征點做剛性變換{R,T}得到特征點獲取源點云特征點在目標點云的對應特征點計算特征點與特征點構成點對的Huber損失誤差h_i，統計Huber損失誤差h_i,i＝1,2,…u小于閾值的點對個數count；

當達到循環次數α時，將個數count最大的一次循環對應的旋轉矩陣R和平移向量T作為粗配準得到的初始對齊的旋轉矩陣R₀和平移向量T₀；

(4)、優化ICP算法精配準高分辨率點云

4.1)、設置迭代次數t＝0，設置迭代終止閾值o，均方根誤差變化初始值q；

4.2)、高分辨率點云P₂基于旋轉矩陣R_t和平移向量T_t做剛性變換，得到對齊的高分辨率點云P₁與高分辨率點云P₂，高分辨率點云P₁的點集為高分辨率點云P₂的點集為基于最小歐式距離在點集中找到與點集對應的點集得到候選對應點對

4.3)、設置閾值ω_d，ω_n，ω_σ，剔除錯誤對應點對：

計算每一對候選對應點對的距離e_{d_x}，法向量內積e_{n_x}及曲率誤差e_{σ_x}：

其中，為點的法向量，為點的曲率，為點p′_x¹的曲率；

當(e_{d_x}＜ω_d)∧(e_{n_x}＞ω_n)∧(e_{σ_x}＜ω_σ)時，保留此候選對應點對，否則剔除，得到剔除錯誤對應點對后的候選對應點對集合，記為C為候選對應點對數量；

4.4)、基于候選對應點對集合得到第t次迭代的旋轉矩陣R_t+1和平移向量T_t+1，得到均方根誤差：

當q＝|e_t+1-e_t|＜o時，即迭代達到終止條件，則取最后一次迭代得到的旋轉矩陣R_t+1和平移向量T_t+1作為高分辨率點云P₂與高分辨率點云P₁的精配準旋轉矩陣R₂₁和平移向量t₂₁，否則，t＝t+1，返回步驟4.2)；

(5)、按順序依次兩兩配準余下高分辨率點云

對余下高分辨率點云P₃,...,P_K按兩兩相鄰組合(P₃P₂),(P₄P₃),...,(P_KP_K-1)進行兩兩拼接：按照高分辨率點云P₂、P₁執行步驟(3)-(4)，得到旋轉矩陣R₃₂,R₄₃,...,R_KK-1和平移向量t₃₂,t₄₃,...,t_KK-1；

采用全局ICP算法對旋轉矩陣R₃₂,R₄₃,...,R_KK-1和平移向量t₃₂,t₄₃,...,t_KK-1進行優化；

(6)、子區域高分辨率點云進行拼接

根據優化后的旋轉矩陣R₃₂,R₄₃,...,R_KK-1和平移向量t₃₂,t₄₃,...,t_KK-1構建所有子區域高分辨率點云到以第一視角點云P₁所在坐標系為基準坐標系的剛性變換矩陣T₁′,T₂′,T₃′,...,T′_K，其中：

T₁′為4×4單位矩陣：

依此類推

依據剛性變換矩陣T₁′,T₂′,T₃′,...,T′_K將高分辨率點云P₁,P₂,...,P_K坐標系轉換到基準坐標系下，實現多視角高分辨率點云P₁,P₂,...,P_K的兩兩拼接，得到航空航天零部件大范圍高分辨率點云。

2.根據權利要求1所述的基于特征點提取及精配準優化的多視角高分辨率點云拼接方法，其特征在于，步驟4.3)還還需要基于重疊參數確定公共區域對應點對：

當重疊參數γ已知時，γ∈(0,1]，則公共區域可以配對的正確對應點數量為N＝γ×A，若C＜N，則候選對應點對集合即為保留的最終對應點對；否則，對候選對應點對集合按照法向量內積e_{n_x}進行由大到小排序，保留前N項對應的對應點對作為最終的對應點對，并將候選對應點對數量C賦值為N，最終的對應點對作為候選對應點對集合

當重疊參數γ未知時，設置預設參數β，通過最小化目標函數來計算得到重疊參數γ，其中：

e_d為重疊區域對應點的歐式距離；

通過搜索重疊參數γ確定目標函數的最小值，重疊參數γ的搜索空間設為[0.4,1.0]，目標函數最小值對應的重疊參數γ為確定的重疊參數γ，然后按照重疊參數γ已知的情況得到最終的對應點對作為候選對應點對集合