[發明專利]一種基于二維圖像灰度進行深度預測的點云密度提升方法

有效

• 申請號: 201911366232.8
• 申請日: 2019-12-26
• 公開（公告）號: CN111161338B
• 公開（公告）日: 2022-05-17
• 發明（設計）人: 王曰海;李晨康;李東洋;李春光
• 申請（專利權）人: 浙江大學
• 主分類號: G06T7/593
• 分類號: G06T7/593;G06T7/80;G06T7/90;G06T3/40
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 胡紅娟

1.一種基于二維圖像灰度深度預測的點云密度提升方法，其特征在于，包括：

步驟1、統一相機和激光雷達的采集頻率，同時采集圖像，得到圖像數據和世界坐標系的三維點云數據；

步驟2、標定出相機的內參矩陣和外參矩陣；

步驟3、利用相機的外參矩陣，將世界坐標系的三維點云數據轉換為相機坐標系的三維點云數據；

步驟4、利用相機的內參矩陣，將相機坐標系的三維點云數據轉換為像素坐標系的二維圖像坐標；

步驟5、將二維圖像坐標和步驟1采集到的圖像數據進行坐標與像素點的匹配；

步驟6、將圖像數據中未匹配到的像素點的深度值設置為0；對圖像數據中深度值s為0的像素點進行深度預測，得到預測深度值，將預測深度值作為該像素點的深度值；

步驟7、將步驟1采集到的圖像數據中深度值不為0的像素點所對應的像素坐標系的二維圖像坐標轉換為世界坐標系的三維點云數據，完成圖像數據點云密度的提升；

其中，對圖像數據中深度值s為0的像素點進行深度預測，包括：查找圖像數據中深度值s為0的像素點p_i ，搜索像素點p_i 周圍鄰域24個像素點，統計24個像素點中深度值s不為0的像素點的個數；若個數大于10，則對像素點p_i 進行基于像素點灰度差的自適應權重深度預測，將預測值v_i作為當前像素點的預測深度值，即s＝v_i；若個數小于10，則跳過該像素點；其中，深度預測的計算公式具體為式(1)所示：

其中，v_i為當前預測深度值；v_j為鄰域內的像素點深度值；p_i和p_j為當前像素和鄰域像素的灰度值；a為1-n的整數。

2.根據權利要求1所述的基于二維圖像灰度深度預測的點云密度提升方法，其特征在于，步驟2中，所述的內參矩陣的計算公式具體為式2 所示；

其中，fx與fy為圖像坐標系中一個像素點所代表實際x、y方向的距離；(u₀，v₀)為相機光軸與實際平面的交點坐標。

3.根據權利要求1所述的基于二維圖像灰度深度預測的點云密度提升方法，其特征在于，步驟2中，所述的外參矩陣的計算公式具體為式3 所示；

其中，R為3×3的旋轉矩陣；t為1×3的三維平移矩陣。

4.根據權利要求1所述的基于二維圖像灰度深度預測的點云密度提升方法，其特征在于，步驟3中，所述的相機坐標系的三維點云數據的計算公式具體為式4 所示：

其中，(Xc，Yc，Zc)為相機坐標系的三維點云數據；R為3×3的旋轉矩陣；t為1×3的三維平移矩陣；(Xw，Yw，Zw)為世界坐標系的三維點云數據。

5.根據權利要求1所述的基于二維圖像灰度深度預測的點云密度提升方法，其特征在于，步驟4中，所述的像素坐標系的二維圖像坐標的計算公式具體為式5 所示：

其中，s為二維圖像的深度值；(u，v)為像素坐標系的二維圖像坐標；fx與fy為圖像坐標系中一個像素點所代表實際x、y方向的距離；(u₀，v₀)為相機光軸與實際平面的交點坐標；(Xc，Yc，Zc)為相機坐標系的三維點云數據。

6.根據權利要求1所述的基于二維圖像灰度深度預測的點云密度提升方法，其特征在于，步驟5中，所述的匹配后的像素點存儲信息由(R，G，B)信息轉換為(R，G，B，s)信息；其中，(R，G，B)信息為RGB色彩模式，強度值為強度值0～1；s為二維圖像的深度值。