[發明專利]一種基于雙目視覺的臺階檢測和單級臺階高度估計方法

有效

• 申請號: 202011301586.7
• 申請日: 2020-11-19
• 公開（公告）號: CN112102347B
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 范富貴;范彥福;顧建軍;朱世強
• 申請（專利權）人: 之江實驗室
• 主分類號: G06T7/13
• 分類號: G06T7/13;G06T7/80;G06T7/90;G06T5/00;G06K9/62
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

本發明公開了一種基于雙目視覺的臺階檢測和單級臺階高度估計方法，該方法利用動態白平衡和灰度化將圖片轉為灰度圖，在灰度圖的基礎上提取邊緣信息；使用霍夫變換從邊緣信息中進行線檢測，獲取圖像中的直線集，并根據斜率篩選出近似水平的直線集；利用線段中點的距離信息對水平線段集進行聚類，并從不同的類中提取臺階相關的潛在類；使用最小二乘法對篩選的臺階直線集進行細分聚類和臺階直線的回歸；根據雙目視差計算臺階區域的深度信息和利用深度信息，相機的內外參數逆向還原像素點的世界坐標系中的位置，進而計算單級臺階的高度。基于本發明所提供的方法，僅利用雙目視覺信息便可實現臺階位置的檢測，臺階水平距離以及單級臺階高度的估計。

技術領域

本發明屬于計算機視覺領域，尤其涉及一種基于雙目視覺的臺階檢測和單級臺階高度估計方法。

背景技術

在園區導覽，養老服務和智能家居等多個場景中，提供服務的機器人等智能體通常需要面臨上下臺階的過程。針對臺階檢測的常用方法通常是基于激光雷達的三維數據方法和基于圖像的二維數據方法。

基于激光雷達的臺階檢測算法使用激光雷達或者深度相機獲取場景的三維數據，通常使用平面檢測和圖分割相結合的技術。由于激光雷達或深度相機獲取的三維數據通常是稀疏數據，因此會采用上采樣的技術增加三維數據的稠密性。然后采用基于法向量的平面檢測技術獲取水平面和豎直面，根據臺階水平面和豎直面交替的屬性利用圖分割的技術從檢測到的平面中篩選出臺階的位置。該方法的優勢在于能夠利用三維數據在獲取臺階位置后求出單級臺階的高度；缺陷在于三維數據的計算量比較大，不適合部署在以機器人等為代表的可移動智能體上。

基于圖像的臺階檢測算法使用單目或雙目相機獲取場景的二維數據，通常使用邊緣檢測和線檢測相關的技術。首先將彩色圖像轉變為灰度圖，并使用Canny邊緣檢測算法從灰度圖中提取物體邊緣信息。然后利用霍夫變換等線檢測算法從邊緣信息中獲取圖像中的直線信息，根據臺階的水平屬性從先前的直線集中確定臺階的位置。這種方法的計算量較少，對硬件設備要求較低，但該方法很難在臺階檢測的基礎上計算單級臺階的高度。

發明內容

本發明的目的在于針對現有技術的不足，提供一種基于雙目視覺的臺階檢測和單級臺階高度估計方法。

本發明的上述目的通過以下技術方案得以實施的：一種基于雙目視覺的臺階檢測和單級臺階高度估計方法，包括如下步驟：

S1、使用雙目相機獲取RGB圖像，利用動態白平衡算法調整RGB圖像的亮度；

S2、將調整亮度后的RGB圖像轉為灰度圖，并使用邊緣檢測算法提取灰度圖的邊緣信息；

S3、使用線檢測算法從邊緣信息中提取線段信息，并根據斜率從線段集中篩選出水平線段，構成原始水平線段集；

S4、在原始水平線段集中，根據各條線段中點的豎直距離關系進行聚類，篩選出構成臺階的潛在線段集；

S5、使用最小二乘法對潛在線段集進行細分聚類和臺階直線方程的回歸；

S6、利用雙目相機的雙目圖像的視差圖構建單目圖像的像素深度圖，并使用RGB圖像中像素的顏色和位置信息對深度信息殘缺的像素點進行信息補全；

S7、使用雙目相機的內外參數和深度圖的深度信息將單目圖像中的臺階像素投影到世界坐標系中，根據在世界坐標系中的三維信息計算單級臺階的高度。

進一步地，在步驟S1中，使用完美反射白平衡算法調節圖像的亮度。

進一步地，在步驟S2中，使用下式將RGB圖像轉為灰度圖Gray，在灰度圖的基礎上使用Canny算子提取圖像中物體的邊緣信息：

其中，R,G,B分別表示RGB圖像的顏色三通道的數據。