[發明專利]一種高精度真彩三維重建方法

有效

• 申請號: 202210106295.5
• 申請日: 2022-01-28
• 公開（公告）號: CN114549746B
• 公開（公告）日: 2023-03-07
• 發明（設計）人: 殷春;王澤琪;程玉華;譚旭彤;羅健浩;邱根
• 申請（專利權）人: 電子科技大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T15/00;G06T7/90;G06T7/80;G06T7/33;G06T3/40;G06V10/74
• 代理公司: 成都行之智信知識產權代理有限公司 51256
• 代理人: 溫利平

1.一種高精度真彩三維重建方法，其特征在于，包括：

(1)、圖像采集

1.1)、將左高分辨率灰度相機安裝在固定器械上，右高分辨率灰度相機安裝在與左高分辨率灰度相機水平的固定器械上，并且保留一定的距離；

將光機安裝在左高分辨率灰度相機和右高分辨率灰度相機中間，將低分辨率彩色相機安裝在光機的上方；

1.2)、調試左高分辨率灰度相機、右高分辨率灰度相機、光機、低分辨率彩色相機，使相機能夠完整、清晰地拍攝到被測高精度零部件，且光機能完整、清晰地將非編碼光以及編碼光投影到被測高精度零部件表面；

測試人員調整標定板，使用張氏標定法完成相機標定；

1.3)、將被測高精度零部件放置在相機視野中的合適位置，以固定方向旋轉被測高精度零部件，并采集所有J個位姿下的圖像：

對于第j(j＝1,2,...,J)個位姿下的被測高精度零部件，首先光機投影非編碼光到被測高精度零部件表面，低分辨率彩色相機拍攝一張圖像，記為CI_j，左高分辨率灰度相機拍攝一張圖像，記為LI_j，然后光機投影N幅編碼光到被測高精度零部件表面，對于每一幅編碼光，左、右高分辨率灰度相機分別拍攝一幅灰度圖像，分別記為和

(2)、圖像處理

2.1)、對各個位姿下的被測高精度零部件進行三維點云重構

使用第j個位姿下拍攝的灰度圖像以及根據雙目相機原理進行點云重構，得到第j個位姿下的三維點云P_j,j＝1,2,...,J；

2.2)、對多位姿下的三維點云進行配準，計算獲得剛體變換矩陣W_j

以位姿j,j＝1,2,...,J-1下的三維點云P_j為目標點云，位姿j+1下的三維點云P_j+1為源點云，計算獲得剛體變換矩陣W_j,j＝1,2,...,J-1：

2.2.1)、分別對源點云P_j+1和目標點云P_j進行體素下采樣，源點云體素下采樣后，記為P_{j+1_down}，目標點云體素下采樣后，記為P_{j_down}，并對源點云P_{j+1_down}和目標點云P_{j_down}進行3D-SIFT關鍵點提取，提取后的點云分別記為P_{j+1_key}和P_{j_key}；

2.2.2)、初始化迭代次數k＝1，設置最大迭代次數K_{c_reg}、設置點對面到點對點的誤差函數選擇迭代次數K_pp，初始化變換后的源點云P_{j+1_key_1}為P_{j+1_key}：

2.2.3)、對于第k次迭代，對源點云P_{j+1_key_k}中的每個點，利用KD樹在目標點云P_{j_key}中查找到其最近的點作為對應點，得到對應點對點集C_{j_key_k}，去除距離大于閾值Thres的匹配點對，得到優化后的對應點對點集C′_{j_key_k}；

2.2.4)、若迭代次數k小于K_pp，則對源點云P_{j+1_key_k}中的點p_{j+1_key_ki}進行齊次化根據對應點對點集C′_{j_key_k}在目標點云P_{j_key}中找到對應點p_{j_key_i}，并對其進行齊次化其中i＝1,2,...,N_{cj_key_k}，N_{cj_key_k}為C′_{j_key_k}中的點對數量，用點p_{(j+1)_key_ki}到目標點云P_{j_key}中點p_{j_key_i}所在的切平面的距離構造出點對面的誤差函數F_jk：

其中，n_{j_key_i}為點p_{j_key_i}對應的法向量，W_jk第k次迭代估計的變換矩陣；

若迭代次數k不小于K_pp，則根據對應點之間的距離的平方和構造點對點誤差函數F_jk：

2.2.5)、求解使得誤差函數最小的變換矩陣W_jk，用變換矩陣W_jk對源點云P_{j+1_key_k}施加變換，得到源點云P_{j+1_key_(k+1)}，且記錄此時的誤差函數值F_jk；

2.2.6)、判斷前后兩次迭代誤差函數值的變化量|F_jk-F_j(k-1)|是否小于閾值e或是否迭代次數k達到預先設定的最大迭代次數K_{c_reg}，如果是，則k′為判斷條件成立時的迭代次數，記錄此時的匹配點對集C′_{j_key_k′}，計算最優剛體變換矩陣W_j＝W_jk′W_j(k′-1)…W_j1，最優剛體變換矩陣W_j為4×4的矩陣，具有形式為：

其中，R_{cloud_j}為源點云P_{j+1_key}配準到目標點云P_{j_key}的3x3的旋轉矩陣，T_{cloud_j}為1x3的平移向量，為3x1的0行向量；

否則，k＝k+1，返回步驟2.2.3)；

2.3)、對位姿j,j＝1,2,...,m下的低分辨率彩色圖像CI_j和左高分辨率灰度圖像LI_j進行融合

2.3.1)、求取低分辨率彩色圖像CI_j到左高分辨率灰度圖像LI_j的配準投影矩陣H_j

2.3.1.1)、分別對低分辨率彩色圖像CI_j和左高分辨率灰度圖像LI_j進行SURF特征點的提取；

2.3.1.2)、使用歐式距離作為相似度判定，對于低分辨率彩色圖像CI_j中的關鍵點，在左高分辨率灰度圖像LI_j中查找與之最近的關鍵點，如果最近鄰點的距離與次緊鄰點的距離之比小于設定的閾值θ，則確定這個關鍵點的最近鄰點為匹配點，這樣得到匹配點對集C_{cl_j}；

2.3.1.3)、設定最大迭代次數K_{p_reg}、誤差閾值初始化迭代次數k＝1，通過隨機抽樣一致性RANSAC算法優化匹配點對集C_{cl_j}，得到最優投影矩陣H_j；

2.3.1.3.1)、對于優化匹配點對集C_{cl_j}中的第k次迭代，在匹配點對集C_{cl_j}中，隨機抽取四個點對，記為{q_{cj_1},q_{lj_1}}、{q_{cj_2},q_{lj_2}}、{q_{cj_3},q_{lj_3}}、{q_{cj_4},q_{lj_4}}，對其進行齊次化，得到四個點對計算點對間的投影矩陣H_jk，滿足下面的關系：

2.3.1.3.2)、除了以上抽取的4個點對，對于匹配點對集C_{cl_j}中其他點對{q_{cj_i},q_{lj_i}}，進行齊次化后得到根據投影矩陣H_jk計算映射后誤差其中i＝5,6,..,N_cj，N_cj為匹配點對集CI_j中點對的數量，根據誤差閾值確定誤差的點對，構成內點集合S_jk；

2.3.1.3.3)、如果已進行最后一次迭代，即k＝K_{p_reg}，比較確定內點集合最大時的投影矩陣H_jk，記為投影矩陣H_j，否則，k＝k+1，返回步驟2.3.1.3.1；

2.3.2)、根據投影矩陣H_j，對低分辨率彩色圖像CI_j和左高分辨率灰度圖像LI_j進行配準，得到高分辨率的配準彩色圖像CI_{j_r}；

2.3.2.1)、生成一張與左高分辨率灰度圖像LI_j一樣大小的空白的配準彩色圖像CI_{j_r}，根據投影矩陣H_j，對低分辨率彩色圖像CI_j的像素進行坐標變換得到彩色圖像

2.3.2.2)、確定插值的范圍：配準彩色圖像CI_{j_r}中位于彩色圖像上除匹配點對集C_{cl_j}中的匹配點外的點為需要進行插值的點即插值點；

2.3.2.3)、采用雙線性插值方法對所有插值點的像素進行插值：對于第i個插值點q_{cj_r_i}(x_{cj_r_i},y_{cj_r_i})，根據投影矩陣H_j進行反變換，得到在低分辨率彩色圖像CI_j中的點ρ_{cj_i}(x_{cj_ρ_i},y_{cj_ρ_i})，這樣可以找到臨近的四個像素點，分別記為p_{cj_ρ_i11}(x_{cj_ρ_i1},y_{cj_ρ_i1})，p_{cj_ρ_i12}(x_{cj_ρ_i1},y_{cj_ρ_i2})，p_{cj_ρ_i21}(x_{cj_ρ_i2},y_{cj_ρ_i1})，p_{cj_ρ_i22}(x_{cj_ρ_i2},y_{cj_ρ_i2})；

首先在x方向插值得到：

然后在y方向插值得到：

令插值點q_{cj_r_i}(x_{cj_r_i},y_{cj_r_i})的像素值為：

CI_{j_r}(x_{cj_r_i},y_{cj_r_i})＝CI_j(x_{cj_ρ_i},y_{cj_ρ_i})；

2.3.2.4)、配準彩色圖像CI_{j_r}中位于彩色圖像上匹配點對集C_{cl_j}中的匹配點，直接用低分辨率彩色圖像CI_j中對應匹配點的像素值進行賦值，對于配準彩色圖像CI_{j_r}中不位于彩色圖像上的點，以設定的RGB值進行賦值，這樣得到高分辨率的配準彩色圖像CI_{j_r}；

2.3.3)、將配準彩色圖像CI_{j_r}和左高分辨率灰度圖像LI_j進行融合

2.3.3.1)、對左高分辨率灰度圖像LI_j進行N_l層拉普拉斯金字塔分解，得到N_l層圖像LI_{j_w}，對配準彩色圖像CI_{j_r}的各個顏色通道分別進行N_l層拉普拉斯金字塔分解，得到R通道上的N_l層圖像CI_{j_rw}，G通道上的N_l層圖像CI_{j_gw}，B通道上的N_l層圖像CI_{j_bw}，其中，w＝1,2,...,N_l，表示第w層上的圖像；

2.3.3.2)、對頂層圖像和分別進行雙邊濾波，得到頂層圖像和

2.3.3.3)、對于配準彩色圖像CI_{j_r}的三個通道的頂層圖像，計算雙邊濾波前后的差值，得到富有細節信息的細節圖層

2.3.3.4)、對于灰度圖像的頂層圖像，進行高斯濾波得到整體平滑信息然后通過雙邊濾波后的圖像與高斯濾波圖像的差值獲得富有邊緣信息的圖層

2.3.3.5)、計算頂層融合圖像，其中r通道為：g通道為：b通道為：

2.3.3.6)、對于0＜w＜N_l的其它層融合圖像，取r通道為Fu_{j_k_r}＝CI_{j_rk}，Fu_{j_k_g}＝CI_{j_gk}，Fu_{j_k_b}＝CI_{j_bk}，以保留豐富的色彩信息；

2.3.3.7)、將對各顏色通道的各層融合圖像，進行N_l層拉普拉斯金字塔重構，得到各顏色通道的融合圖像，這樣得到彩色融合圖像，記為Fu_j；

2.4)、彩色點云重建

2.4.1)、各位姿點云進行彩色重建，獲得彩色點云

2.4.1.1)、針對被測高精度零部件在位姿j(j＝1,2,...,m)處重構的點云P_j中的每一個點p_ji(x_ji,y_ji,z_ji)，由三維點到像素坐標系進行轉換：

其中z_c為比例因子，f_x，f_y為相機的焦距，u₀，v₀為相機主點在像素平面上的坐標，R_c，T_c為相機標定參數中的旋轉矩陣和平移向量，計算點云中三維的點p_ji(x_ji,y_ji,z_ji)對應的像素點q_ji的坐標(a_ji,b_ji)，其中，i表示點云中三維的點的序號；

2.4.1.2)、在融合圖像Fu_j中獲得坐標(a_ji,b_ji)處R通道值R(a_ji,b_ji)、G通道值G(a_ji,b_ji)和B通道值B(a_ji,b_ji)，然后對于點云P_j中的點p_ji(x_ji,y_ji,z_ji)的三個通道分別進行賦值：R(x_ji,y_ji,z_ji)＝R(a_ji,b_ji)，G(x_ji,y_ji,z_ji)＝G(a_ji,b_ji),B(x_ji,y_ji,z_ji)＝B(a_ji,b_ji)，獲得彩色點云

2.4.2)、配準所有位姿的彩色點云

由步驟2.2獲得的一系列剛體變換矩陣W₁，W₂，…W_m-1，將彩色點云分別變換到彩色點云的坐標系下進行配準，標記變換后的彩色點云分別記為：則有：

……

2.4.3)、對點云重疊部分進行融合處理

設將彩色點云與融合得到依次進行點云融合，對于j＝1,2,...,m-1，彩色點云與融合得到彩色點云最后得到融合好的整體點云完成高精度真彩三維重建；

其中，對于彩色點云與的融合，將匹配點對集C′_{j_key_k′}中的匹配點對直接作為同名點對，放入同名點對集Co_j中；

對于彩色點云中非匹配點使用KD樹在彩色點云中查找到與其距離最近的點，求所有點與最近鄰點之間的距離的平均值σ；對彩色點云中的每個非匹配點，使用KD樹查找彩色點云中的最近鄰點，若最近鄰點的距離小于平均值σ，則彩色點云中的該點與彩色點云中的最近鄰點作為同名點對存入同名點對集Co_j；

對同名點對集Co_j的每個同名點對的幾何坐標采用權值α_i和β_i進行加權：

R,G,B值分別采用(α_ri,β_ri)，(α_gi,β_gi)，(α_bi,β_bi)進行加權：

其中i＝1,2,...,N_coj，N_coj為同名點對數量，所有加權點構成融合后的彩色點云