[發明專利]一種基于RGB-D圖像對柜體表面設備進行垂直操作的方法

有效

• 申請號: 202110425989.0
• 申請日: 2021-04-20
• 公開（公告）號: CN113103235B
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 程敏;毛成林;項導
• 申請（專利權）人: 億嘉和科技股份有限公司
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 梁天彥

本發明公開了一種基于RGB?D圖像對柜體表面設備進行垂直操作的方法，包括步驟：(1)采集柜體表面設備所在位置的RGB?D圖像，并計算柜體表面平面法向量；(2)計算深度相機光軸調整到垂直于柜體表面平面的旋轉變換；(3)對深度圖像進行分割得到設備的圖像區域并基于(2)的旋轉變換進行預處理；(4)重復步驟(3)得到訓練樣本并進行訓練得到目標檢測網絡；(5)得到待操作設備的圖像區域并輸入目標檢測網絡得到待操作設備的類型和目標邊界框，得到末端執行器需要執行的動作；(6)根據步驟(5)調整機械臂末端執行器垂直對準待操作設備進行操作。本發明的方法可靠有效，極大地降低人到場操作的安全風險和時間成本，提高處理問題的響應速度。

技術領域

本發明涉及工業自動化控制的技術領域，具體涉及一種基于RGB-D圖像對柜體表面按鈕旋鈕等設備進行垂直操作的方法。

背景技術

電力行業變電站/配電站的開關柜高壓帶電，操作具有安全風險，柜體的上半部分設置有按鈕、旋鈕等設備，通常是垂直于柜體平面對此類設備進行按壓、旋轉等操作。如果采用機械臂視覺控制的方式來自動操作，則會極大地降低人到場操作的安全風險和時間成本，提高處理問題的響應速度。

當前大部分工業流水線上的機器人基于視覺的操作策略都是基于目標位于相對機械臂固定平面這一前提上，而在上述所提出的應用場景中，機械臂裝載在移動底盤上，由于移動的定位精度誤差，柜體平面相對于機械臂是不固定平面，因此需要考慮策略來保證機械臂末端工具在操作時垂直于柜體平面。

發明內容

發明目的：本發明針對上述不足，提出了一種基于單幀RGB-D圖像對柜體表面按鈕旋鈕等設備進行垂直操作的方法。

技術方案：

一種基于RGB-D圖像對柜體表面設備進行垂直操作的方法，包括步驟：

(1)通過安裝在末端執行器上的深度相機采集柜體表面設備所在位置的RGB-D圖像，并擬合得到柜體表面平面方程，計算柜體表面平面法向量；

(2)根據步驟(1)得到的柜體表面平面法向量計算深度相機光軸調整到垂直于柜體表面平面需要的旋轉變換；

(3)根據深度圖像分割柜體表面設備，得到柜體表面設備的圖像區域并根據(2)的旋轉變換投影至平行于柜體表面平面，并根據柜體表面設備的類型形成類型標簽；

(4)重復步驟(3)得到訓練樣本，并進行離線迭代訓練得到基于深度學習的目標檢測網絡；

(5)對待操作設備進行步驟(1)～(3)的處理得到待操作設備的圖像區域，并輸入至步驟(4)得到的目標檢測網絡，得到待操作設備的類型和目標邊界框，進而獲取得到末端執行器需要執行的動作；

(6)根據步驟(5)得到的目標邊界框獲取待操作設備的位置，進而調整機械臂使其末端執行器垂直對準待操作設備，并進行操作。

所述步驟(1)中，機器人控制機械臂運動至其末端執行器上安裝的深度相機平行于地面的位姿處，利用深度相機采集柜體上操作設備所在位置的單幀RGB-D圖像。

所述步驟(1)中計算柜體平面法向量具體如下：

a、將深度相機采集的RGB圖像轉換到HSV顏色空間，進行聚類分割；

b、對每一類顏色進行形態學處理計算得到所有連通區域，找出所有連通區域中外接矩最大的一個；

c、對步驟b選出的連通區域使用隨機采樣一致性算法擬合平面方程，并計算得到柜體平面法向量。

所述步驟c中的使用隨機采樣一致性算法擬合平面方程具體如下：

c1.在步驟b選出的連通區域中隨機選出3個點擬合平面方程：

Ax+By+Cz+D＝0