[發明專利]一種基于雙目視覺的臺階檢測和單級臺階高度估計方法

有效

• 申請號: 202011301586.7
• 申請日: 2020-11-19
• 公開（公告）號: CN112102347B
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 范富貴;范彥福;顧建軍;朱世強
• 申請（專利權）人: 之江實驗室
• 主分類號: G06T7/13
• 分類號: G06T7/13;G06T7/80;G06T7/90;G06T5/00;G06K9/62
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

1.一種基于雙目視覺的臺階檢測和單級臺階高度估計方法，其特征在于，包括如下步驟：

S1、使用雙目相機獲取RGB圖像，利用動態白平衡算法調整RGB圖像的亮度；

S2、將調整亮度后的RGB圖像轉為灰度圖，并使用邊緣檢測算法提取灰度圖的邊緣信息；

S3、使用線檢測算法從邊緣信息中提取線段信息，并根據斜率從線段集中篩選出水平線段，構成原始水平線段集；

S4、在原始水平線段集中，根據各條線段中點的豎直距離關系進行聚類，篩選出構成臺階的潛在線段集；

S5、使用最小二乘法對潛在線段集進行細分聚類和臺階直線方程的回歸；

S6、利用雙目相機的雙目圖像的視差圖構建單目圖像的像素深度圖，并使用RGB圖像中像素的顏色和位置信息對深度信息殘缺的像素點進行信息補全；

S7、使用雙目相機的內外參數和深度圖的深度信息將單目圖像中的臺階像素投影到世界坐標系中，根據在世界坐標系中的三維信息計算單級臺階的高度；

在步驟S5中，在構成臺階的潛在線段集中，根據中點(x₀，y₀)的x₀進行排序，利用最小二乘法進行細分聚類，具體為：首先從潛在線段集中，選擇第一個線段計算其直線方程y＝kx+b，然后計算第二個線段的中點(x₀，y₀)到該直線方程的距離|y₀-kx₀-b|，如果該距離小于設定的閾值，則這兩條線段屬于同一類，從潛在線段集中刪除這兩條線段，并根據這兩條線段中點使用最小二乘法重新擬合直線方程y＝kx+b；依次遍歷所有的線段，直至潛在線段集為空。

2.如權利要求1所述的基于雙目視覺的臺階檢測和單級臺階高度估計方法，其特征在于，在步驟S1中，使用完美反射白平衡算法調節圖像的亮度。

3.如權利要求1所述的基于雙目視覺的臺階檢測和單級臺階高度估計方法，其特征在于，在步驟S2中，使用下式將RGB圖像轉為灰度圖Gray，在灰度圖的基礎上使用Canny算子提取圖像中物體的邊緣信息：

Gray＝0.299*R+0.587*G+0.114*B

其中，R,G,B分別表示RGB圖像的顏色三通道的數據。

4.如權利要求1所述的基于雙目視覺的臺階檢測和單級臺階高度估計方法，其特征在于，在步驟S3中，使用霍夫變換從邊緣信息中檢測線段信息，得到滿足長度要求的線段集。

5.如權利要求1所述的基于雙目視覺的臺階檢測和單級臺階高度估計方法，其特征在于，在步驟S4中，在原始水平線段集中，根據線段中點的y軸距離進行粗分聚類，根據每個類包含的線段數目和類中心，選擇構成臺階的潛在線段集。

6.如權利要求1所述的基于雙目視覺的臺階檢測和單級臺階高度估計方法，其特征在于，在步驟S7中，臺階像素投影到世界坐標系的映射方法如下：

其中，P_uv為像素坐標系坐標點，u,v表示像素坐標系下的坐標；K表示相機內參，P表示相機坐標系像素點；X,Y,Z表示相機坐標系下的坐標；R表示旋轉矩陣，X_w,Y_w,Z_w表示世界坐標系下的坐標，t表示平移矩陣。

7.如權利要求6所述的基于雙目視覺的臺階檢測和單級臺階高度估計方法，其特征在于，在步驟S7中，在世界坐標系下，從相鄰的兩條臺階直線中各選取n個點{xy₁₁ xy₁₂ …xy_1n}和{xy₂₁ xy₂₂ … xy_2n}，計算單級臺階的高度h：

其中，d為像素深度，f_y為相機的y軸方向的焦距，c_y為相機的y軸方向的主點。