[發明專利]一種基于低分辨率圖像的高精度點云色彩重建方法

有效

• 申請號: 202210106255.0
• 申請日: 2022-01-28
• 公開（公告）號: CN114549307B
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 殷春;王澤琪;譚旭彤;陳凱;朱丹丹;劉俊杰
• 申請（專利權）人: 電子科技大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/20;G06T5/50;G06T7/44;G06T7/90
• 代理公司: 成都行之智信知識產權代理有限公司 51256
• 代理人: 溫利平

1.一種基于低分辨率圖像的高精度點云色彩重建方法，其特征在于，包括：

(1)、針對高精度關鍵零部件，基于雙目結構光系統重建出高精度無彩點云P；

(2)、針對高精度關鍵零部件，用左高分辨率灰度相機拍攝一張無編碼光的高分辨率灰度圖像I_gray，分辨率為a×b，用低分辨率彩色相機以相同位姿拍攝一幅無編碼光的低分辨率彩色圖像I_color，分辨率為c×d；

(3)、計算低分辨率彩色圖像I_color到高分辨率灰度圖像I_gray的變換矩陣H

3.1)、提取低分辨率彩色圖像I_color以及高分辨率灰度圖像I_gray的特征點

提取的特征點為KAZE特征點，具體為：

首先，利用高斯函數平滑圖像，由平滑圖像的梯度直方圖確定參數k，生成O組S層的圖像金字塔，o表示所在組，s表示所在層，σ₀為初始值，計算不同組、層圖像對應的尺度參數：

σ_i(o,s)＝σ₀2^o+s/S，其中o∈[0,1,...,O-1]，s∈[0,1,...,S-1]，i∈[0,1,...,O×S-1]

然后，將尺度參數轉化為每組每層時間參數：

使用AOS(加性算子分裂算法)求解非線性擴散方程：

其中，Lⁱ為各組、層圖像的亮度值，A_l(Lⁱ)是圖像Lⁱ的傳導矩陣，M是Lⁱ像素數量；

然后，計算Hessian矩陣：

L_xx和L_yy分別為二階橫向和二階縱向微分，L_xy為二階交叉微分，將每個像素點處的Hessian值，與鄰近26個點相比較求出Lⁱ的極值點然后根據泰勒展開式求解亞像素精確位置

最后，以特征點為中心，6σ為半徑確定圓形區域，分別求取特征點鄰域內點的一階微分值L_x和L_y進行高斯賦值運算，在鄰域內以60°為扇形窗口進行旋轉，疊加鄰域中點的向量，將向量和中的最長矢量方向確定為該特征點的主方向，然后利用M-SURF描述子建立描述向量，對于尺度為σ_i的特征點，取該特征點鄰域24σ_i×24σ_i的矩形，再將其分解為具有2σ_i重疊度的4×4個9σ_i×9σ_i子區域，對所有點計算一階微分值L_x和L_y，并在每個子區域中采用σ_gi＝2.5σ_i的高斯權重核，得到子區域的浮點型描述向量d_v作為特征點的值：

d_v＝(∑L_x?∑L_y?∑|L_x|?∑|L_y|)；

3.2)、對低分辨率彩色圖像I_color中的特征點，在高分辨率灰度圖像I_gray中查找最近鄰的兩特征點，如果最近鄰特征點的距離與次緊鄰特征點的距離之比小于設定的閾值θ，則確定低分辨率彩色圖像I_color中的該特征點與高分辨率灰度圖像I_gray中的最近鄰特征點為匹配點對，得到匹配點對集：

Ω_rough＝{(p_{color_1},p_{gray_1}),(p_{color_2},p_{gray_2}),...}

其中，p_{color_1}、p_{color_2}為低分辨率彩色圖像I_color中的特征點，p_{gray_1}、p_{gray_2}為高分辨率灰度圖像I_gray中分別對應的特征點；

3.3)、設定迭代次數K_ransac，誤差閾值通過隨機抽樣一致性RANSAC算法優化匹配點對集Ω_rough，得到優化后的匹配點對集：

Ω_fine＝{(p′_{color_1},p′_{gray_1}),(p′_{color_1},p′_{gray_1}),...}

3.4)、根據優化后的匹配點對集Ω_fine，得到坐標變換矩陣H；

(4)、配準低分辨率彩色圖像I_color到高分辨率灰度圖像I_gray，得到高分辨率彩色圖像I_reg

首先，對低分辨率彩色圖像I_color的像素點，使用坐標變換矩陣H進行坐標變換，得到低分辨率彩色圖像

然后，創建一張空白的分辨率為a×b的高分辨率彩色圖像I_reg，將低分辨率彩色圖像與高分辨率彩色圖像I_reg按照坐標重疊放置，然后采用雙線性插值法對低分辨率彩色圖像的四個角點連線組成的矩形區域內的高分辨率彩色圖像I_reg的像素點進行插值，對于待插值的第i個像素點p_i(x_i,y_i)，根據其近鄰的低分辨率彩色圖像中的四個像素點p_{i_1}(x_i1,y_i1)、p_{i_2}(x_i2,y_i2)、p_{i_3}(x_i3,y_i3)、p_{i_4}(x_i4,y_i4)的像素值進行插值計算：

首先兩兩在x方向線性插值得到像素點p_{i_5}(x_i,y_i5)、p_{i_6}(x_i,y_i6)的像素值：

然后在y方向插值，得到像素點p_i(x_i,y_i)的像素值：

最后，對于高分辨率彩色圖像I_reg中剩下的區域，以設定的RGB值在補全像素值，得到配準的高分辨率彩色圖像I_reg；

(5)、配準的高分辨率彩色圖像I_reg與高分辨率灰度圖像I_gray進行融合，得到高分辨率的融合圖像I_fused

首先，將配準的高分辨率彩色圖像I_reg從RGB空間轉為YCbCr空間，得到彩色圖像I_{reg_ycbcr}；提取出彩色I_{reg_ycbcr}的Y通道，并記為Y_color，提取出CbCr通道，記為CbCr_color，對Y通道Y_color進行加權最小二值濾波得到基礎層與細節層

然后，對高分辨率灰度圖像I_gray進行加權最小二值濾波得到基礎層與細節層高分辨率灰度圖像I_gray進行雙邊濾波得到基礎層與細節層對兩個細節層和取平均，得到細節層Y^detail；

然后，將細節層Y^detail和基礎層相加，記為Y通道Y_fused；

最后，將Y通道Y_fused和CbCr通道CbCr_color相結合，并轉到RGB空間，得到高分辨率的融合圖像I_fused；

(6)、根據雙目相機的成像模型，將高精度無彩點云P的三維點的坐標對應到高分辨率灰度圖像I_gray中的像素坐標，進一步到融合圖像I_fused中的像素坐標，獲取融合圖像I_fused中該點RGB，傳遞到高精度無彩點云P的三維點，獲得真實彩色點云P^*。