[發明專利]一種基于RGBD相機的兩階段主體點云濾波方法

在審

• 申請號: 202210634535.9
• 申請日: 2022-06-06
• 公開（公告）號: CN115034988A
• 公開（公告）日: 2022-09-09
• 發明（設計）人: 楊力;彭好成;羅哉
• 申請（專利權）人: 中國計量大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/136;G06T7/194;G06T7/80
• 代理公司: 杭州興知捷專利代理事務所(特殊普通合伙) 33338
• 代理人: 董建軍

1.一種基于RGBD相機的兩階段主體點云濾波方法，其特征在于，該方法包含以下具體步驟：

步驟1，讀取包含拍攝主體的RGBD相機圖像數據，獲得由對齊的RGB圖像和深度圖像構成的圖像對；

步驟2，根據相機內參數據及對齊的RGB和深度圖像對，還原像素點至三維空間中，生成相機坐標系下的待濾波的原始三維點云圖，圖像與點云間的映射公式為：

其中，()為深度圖像或RGB圖像上的像素坐標，為相機內參矩陣，是當前像素坐標所對應點云中的三維點坐標；

步驟3，采用基于學習的前景摳圖技術對所述圖像對中的RGB圖像進行前景提取并生成前景對象的透明度圖像；

步驟4，基于所述的透明度圖像確定主體對象所屬像素的空間鄰域R及空間鄰域權重集合W,對主體對象進行空間域上的深度修復，獲得完整的主體點云，

主體對象所屬像素的空間鄰域R構成具體如下：

首先以當前像素為中心構建c*c像素的原始空間鄰域，若透明度圖像中同像素位置存儲元素，則該鄰域像素舍棄，反之則保留，最終構成當前像素鄰域R，鄰域R中各像素為修復深度所貢獻權重公式如下：

其中c為原始矩形空間鄰域邊長，為預設的最佳閾值，為當前像素點坐標，為鄰域像素點坐標,構成鄰域權重集合W；

最后，主體對象所屬區域修復深度的具體公式如下：

其中為鄰域像素所對應深度值；

步驟5，以拍攝時確保主體目標與相機間無遮擋及主體尺寸的先驗信息，確定相機坐標系中軸方向上的點云濾波區間，完成對主體點云第一階段的粗濾波；

步驟6，在第一階段粗濾波的結果上疊加由透明度圖像所指示的第二階段的精濾波，得到最終的主體點云濾波結果。

2.根據權利要求1所述的一種基于RGBD相機的兩階段主體點云濾波方法，其特征在于，步驟3的具體步驟如下：

利用前景摳圖網絡對所獲取的RGB圖像進行前景分割，其網絡輸出與輸入圖像相同分辨率的透明度圖S且與原圖像逐像素對齊，其各像素位置所存儲元素a表示為當前像素前景與背景的混合程度。

3.根據權利要求2所述的一種基于RGBD相機的兩階段主體點云濾波方法，其特征在于，步驟5的具體步驟如下：

首先根據拍攝主體與相機間無任何其他對象遮擋的先驗條件，通過遍歷原始點云中所有點坐標的值，提取出最小深度值，則當前最小深度值所屬點即為主體對象中距離相機坐標系xoy平面最近的點;

其次再根據當前主體對象Z方向上的尺寸先驗信息b，便得到以下粗濾波公式：

其中，為粗濾波后的點云；為原始當云中任意一點；表示當前點的Z坐標值。

4.根據權利要求3所述的一種基于RGBD相機的兩階段主體點云濾波方法，其特征在于，步驟6的具體步驟如下：

遍歷透明度圖S中各像素位置的透明度值，為確保邊緣噪聲的準確去除，在粗濾波的結果中以透明度值a作為是否屬于前景物體的指示執行精濾波，具體公式如下：

其中，為預設的最佳閾值，為精濾波后的點云；為投影函數，表示與點云中三維點對應的圖像中的二維像素點；表示點所對應投影點的透明度值。