[發明專利]一種基于RGB-D特征匹配的3D點云拼接與融合方法

有效

• 申請號: 201711293629.X
• 申請日: 2017-12-08
• 公開（公告）號: CN108053367B
• 公開（公告）日: 2021-04-20
• 發明（設計）人: 邱鈞;劉暢;王媛;吳麗娜
• 申請（專利權）人: 北京信息科技大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50;G06T7/33;G06T7/90
• 代理公司: 北京匯智勝知識產權代理事務所(普通合伙) 11346
• 代理人: 石輝

1.一種基于RGB-D特征匹配的3D點云拼接與融合方法，其特征在于，包括：

步驟100，將不同視點的場景表面3D點云數據投影到RGB-D圖像進行處理，實現三維點云降至二維的降維計算；

步驟200，提取RGB-D圖像中的特征點，建立RGB-D圖像的特征描述，對不同視點RGB-D圖像進行匹配；

步驟300，求解坐標及深度變換矩陣，對RGB-D圖像進行拼接與融合；

步驟400，將拼接后的RGB-D圖像轉化為3D點云數據；

其中：

步驟300中的“求解坐標及深度變換矩陣，對RGB-D圖像進行拼接”包括：

經特征匹配后的兩幅RGB-D圖像，對應特征點可通過求解變換矩陣相互轉換，基于投影變換模型給出變換矩陣，該變換矩陣與特征點對的關系模型為：

其中A′對應圖像I′，A對應參照圖像I，變換矩陣T_k包含旋轉、縮放、平移和變形量，通過代入特征點對進行求解，A′包含圖像I′變換矩陣可簡寫為其中表示縮放、旋轉量，S＝(x₀,y₀,D₀)^T表示位移量，V＝(v₁,v₂,v₃)表示水平、垂直和深度方向的變形量；

利用求解出的T_k對圖像I′中的像點逐一變換，實現圖像的拼接；

步驟300中的“對RGB-D圖像進行融合”包括：

不同RGB-D圖像拼接過程中進行圖像融合，對圖像數據的RGB值作基于光度差異的變換，假設兩圖像光度差異是全局的，變換過程由以下線性模型給出：

等式右端RGB值對應參照圖像I，左端對應圖像I′；

變換矩陣由兩圖像的RGB均值比給出，利用雙線性插值算法處理圖像拼接產生的偽影；

步驟400中的“將拼接后的RGB-D圖像轉化為3D點云數據”包括：

對于3D大視場，從場景前不同視點獲取點云數據，經RGB-D特征匹配并拼接融合，通過坐標變換X_w＝x，Y_w＝y，Z_w＝d₀-D(x,y)轉化為3D點云數據；對于3D全景，從場景周圍不同視點獲取的點云數據，經RGB-D特征匹配并拼接融合，通過坐標變換：

轉化為點云坐標系下的3D點云數據(X_w,Y_w,Z_w)，其中x₀為RGB-D全景圖像最左端橫坐標值，x_N為最右端橫坐標值；RGB-D圖像數據包括圖像平面坐標(x,y)、深度D(x,y)和顏色(RGB)信息，參考面Z_w＝d₀作為相機平面；

步驟200具體包括：

步驟201，利用透視投影模型和尺度空間理論，檢測并提取RGB-D圖像的三維特征點；

步驟201具體包括：

步驟211，利用透視投影模型，給出RGB-D圖像保三維幾何結構的降維計算方法，得到場景在相機坐標系中的參數表示；

步驟212，由擴散方程出發，利用有限差分與尺度空間理論，建立檢測RGB-D圖像三維特征點的RGB-D尺度空間；

步驟213，在RGB-D尺度空間上極值檢測，獲取特征點的位置；以及

步驟214，利用子像元插值法，精確定位特征點，并篩除低對比度和邊緣響應點，增強特征匹配穩定性和抗噪能力；

步驟211中的“場景中物點在相機坐標系中的參數表示”為：

其中，是物點P在相機坐標系中的坐標，(u,v)平面為成像平面，ω為相機的水平視角，W,H表示圖像I₀的分辨率，D(u,v)為物點到相機的水平距離；

步驟212具體包括：

根據尺度空間理論，圖像I₀(x,y)的高斯尺度空間L(x,y,σ)表示為高斯函數G(x,y,σ)與原始圖像I₀的卷積，如下所示：

L(x,y,σ)＝G(x,y,σ)*I₀(x,y), (6)

圖像I₀的高斯尺度空間可表示為擴散方程初值問題，即：

此方程有唯一解*表示卷積；

利用有限差分理論，得到擴散方程初值問題的差分近似形式包括：

對圖像I₀的支撐域Ω進行步長為h的離散得Ω_d，引入以下差分量，得到擴散方程的差分形式，進而建立RGB-D尺度空間，差分量的表達如下：

其中和為簡化符號；

因此，引入拉普拉斯算子L的離散二階微分算子A，有以下偏微分方程：

將其寫成矩陣形式，令再由導數的定義得上式近似于：

其中τ為圖像層間的尺度差，即τ＝σ⁽ⁿ⁺¹)-σ⁽ⁿ⁾，σ_n+1和σ_n分別表示圖像f⁽ⁿ⁺¹⁾和f⁽ⁿ⁾的模糊度，即尺度；由上式迭代求解，即可建立RGB-D尺度空間；

步驟214具體包括：

為獲取連續情況下的極值點，利用子像元插值法，精確定位特征點，具體如下：

步驟2141，令F(u,v)＝Af(u,v),假設經上述極值檢測得到的極值點為(u₁,v₁),則在此極值點(u₁,v₁)處將F(u,v)進行Taylor展開，并求駐點得到偏移量

步驟2142，根據偏移量中所有分量與0.5的大小關系定位特征點；

為增強特征匹配穩定性和抗噪能力，篩除低對比度和邊緣響應點，其具體如下：

步驟2143，刪除定位出的特征點中低對比度的特征點；

步驟2144，刪除定位出的特征點中的邊緣響應點；

步驟2145，經過步驟2143和步驟2144的篩選，保留下來的特征點即為RGB-D圖像的穩定三維特征點。