[發(fā)明專利]一種基于RGB-D的叉車倒車避障方法

在審

• 申請?zhí)枺?/td>: 202210352682.7
• 申請日: 2022-03-31
• 公開（公告）號: CN114648523A
• 公開（公告）日: 2022-06-21
• 發(fā)明（設計）人: 鐘深友;魏璇;曾金榮;潘斌;王潔
• 申請（專利權）人: 浙江科鈦機器人股份有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/62;G06T7/70;G06T7/80;G06T5/40
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 劉靜

1.一種基于RGB-D的叉車倒車避障方法,其特征在于,所述的方法包括如下步驟：

步驟1：利用安裝在叉車上的RGB-D相機獲取到三維的深度圖像以及RGB圖像，并對深度圖像進行預處理操作；

步驟2：對深度圖像背景的深度信息進行標定，具體為：獲取若干張預處理后的深度圖，記錄每一個像素位置波動的最大值，得到閾值文件；并計算這些深度圖的加權平均，得到背景圖D_background，同時將當前獲取深度圖像設定的ROI區(qū)域與背景圖進行差分操作生成二值圖B；

步驟3：對二值圖B中標記為障礙物的部分進行三維空間坐標的計算，并根據叉車腿部的狀態(tài)設置的空間閾值，將不滿足的空間閾值條件像素點在二值圖B上的標記為非障礙物；

步驟4：對二值圖內的障礙物區(qū)域計算凸包，并生成凸包的最小正接矩形框；

步驟5：定義相機坐標系的Z軸為相機正前方，X軸為相機右方，Y軸為相機下方；計算障礙物在Z軸大小，以及障礙物在Y軸正方向上的最大值；

步驟6：根據不同的Z軸上的距離區(qū)間設置不同的凸包面積閾值，如果障礙物的凸包面積小于其所在區(qū)間的凸包面積閾值則拋棄障礙物，反之保留；

步驟7：在剩余的障礙物中選取其Y軸正方向的最大值接近地面的障礙物，將這部分障礙物的最小正接矩形框映射到RGB圖中，將RGB圖中對應的內容進行角點檢測，如果檢測出來的角點數量小于角點檢測閾值則拋棄障礙物，反之保留；

步驟8：對最后剩余的障礙物的Z軸的值從相機坐標系轉換到車體坐標系，根據車體坐標系下的障礙物坐標以及叉車模型對叉車進行減速控制。

2.根據權利要求1所述的一種基于RGB-D的叉車倒車避障方法，其特征在于，相機水平安裝于叉車腿部，與水平地面平行，其中相機坐標系為右手坐標系。

3.根據權利要求1所述的一種基于RGB-D的叉車倒車避障方法，其特征在于，步驟1中對深度圖預處理具體包括：

步驟1-1：對獲取的原始深度圖像D進行兩倍下采樣處理得到下采樣后的深度圖D1；

步驟1-2：對D1使用改進的EMA算法進行濾波處理得到處理后深度圖D2；具體計算過程為：對深度圖像U軸和V軸上的每一行和每一列數據用以下改進公式進行數據處理：

其中S_h代表輸出結果；Z_h代表的是在序列位置h處的深度值，h代表處理所在序列位置，δ_thread是設置的閾值，設置為10；α是設置的衰減系數，設置為0.6；

步驟1-3：對D2基于歷史數據填充補充部分缺失數據得到深度圖D3；

步驟1-4：對D3使用空洞填充技術補充空洞數據得到處理后的深度圖D4。

4.根據權利要求1所述的一種基于RGB-D的叉車倒車避障方法，其特征在于，步驟2中ROI區(qū)域為預先設定的RGB-D相機需要處理的視野范圍。

5.根據權利要求1所述的一種基于RGB-D的叉車倒車避障方法，其特征在于，步驟2中二值圖的計算過程為：

其中,D(u,v)是獲取的深度圖像在像素點(u,v)上的值，D_background(u,v)是標定背景圖像在像素點(u,v)上的值，th(u,v)為閾值文件在像素點(u,v)上的數值，B(u,v)是結果二值圖在像素點(u,v)的值，結果值為255的表示標記為障礙物部分。

6.根據權利要求1所述的一種基于RGB-D的叉車倒車避障方法，其特征在于，步驟3中障礙物的三維空間坐標的計算公式為：

其中是深度相機內參矩陣，用于將相機坐標系轉換到像素坐標系，(f_x,f_y)表示相機坐標系與成像平面的關系，代表了U軸與V軸上的縮放，(C_x,C_y)是相機光學中心，是在深度圖像上像素點(u_d,v_d)在水平深度相機坐標系下的三維坐標，Z_d是預處理后的深度圖像在(u_d,v_d)像素點上的值。