[發明專利]一種基于深度視覺信息的探測機器人跟隨方法及系統

有效

• 申請號: 202010943502.3
• 申請日: 2020-09-09
• 公開（公告）號: CN112223278B
• 公開（公告）日: 2021-12-21
• 發明（設計）人: 劉廣亮;鄭江花;馬爭光;朱琳;肖永飛
• 申請（專利權）人: 山東省科學院自動化研究所
• 主分類號: B25J9/16
• 分類號: B25J9/16;G06F17/16;G06T7/50;G06T7/70;G06T7/90
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 趙敏玲

1.一種基于深度視覺信息的探測機器人跟隨方法，其特征在于：包括如下步驟：

步驟1：獲取深度圖像信息、RGB圖像信息以及二者的同步信息；

步驟2：顯示獲取的RGB圖像，以RGB圖像為基準，選擇跟隨目標并標記跟隨目標矩形區域；

步驟3：選取跟隨目標后，通過KCF跟蹤算法進行實時目標位置跟蹤；

所述步驟3具體分為以下步驟：

步驟3.1:將步驟2獲取的所述目標矩形區域作為模板，進行KCF算法的初始化；

步驟3.2:通過KCF算法計算選取目標矩形區域后RGB圖像幀中的跟蹤矩形區域；

步驟3.3:實時顯示KCF跟蹤矩形區域；

步驟4：根據KCF算法實時跟蹤RGB圖像中的KCF跟蹤矩形區域，在深度圖像中計算跟隨目標的深度位置信息，從而確定探測機器人相對于跟隨目標的距離和方位；

所述步驟4中在深度圖像中計算跟隨目標的深度位置信息，具體分為以下子步驟：

步驟4.1、根據KCF算法實時跟蹤RGB圖像中的KFC跟蹤矩形區域；以此矩形區域獲取跟隨目標矩形像素坐標作為跟隨目標的等效矩形像素坐標；

步驟4.2、根據目標等效矩形像素坐標，在深度圖像中計算矩形區域的深度質心，即矩形區域深度信息的平均值，并以深度質心作為目標深度信息；

所述根據目標等效矩形像素坐標，在深度圖像中計算矩形區域的深度質心，具體分為以下子步驟：

步驟4.2.1：計算每個像素相對應水平和垂直弧度；

步驟4.2.2：計算每個像素水平方向即X方向，垂直方向即Y方向深度比例；所述深度比例分別為水平方向弧度和垂直方向弧度的正弦值；

步驟4.2.3：分別計算目標矩形區域中每個像素水平方向和垂直方向深度比例值；

步驟4.2.4：分別計算目標矩形區域中所有像素水平方向和垂直方向深度比例值合計；

步驟4.2.5：計算目標矩形區域中所有像素水平方向和垂直方向深度比例平均值，得到矩形區域的深度質心；

步驟4.3、根據目標深度位置信息和目標矩形區域中心位置在RGB圖像中相對位置計算機器人相對于跟隨目標的距離和方位；

步驟5：在步驟4中計算出跟隨目標的相對距離和方位后，發布驅動探測機器人移動的運動控制指令，探測機器人根據運動控制指令進行目標的跟隨。

2.如權利要求1所述一種基于深度視覺信息的探測機器人跟隨方法，其特征在于：在步驟1中獲取深度圖像信息和RGB圖像信息具體實現包括以下子步驟：

步驟1.1：啟動采集與發布深度相機的ROS節點；

步驟1.2；訂閱并獲取ROS節點發布的深度圖像信息和RGB圖像信息包；

步驟1.3：進行深度圖像信息和RGB圖像信息同步處理；

步驟1.4；顯示RGB圖像信息。

3.如權利要求1所述一種基于深度視覺信息的探測機器人跟隨方法，其特征在于：在步驟2中選擇跟隨目標具體實現包括以下子步驟：

步驟2.1:在獲取的RGB圖像中確定要跟隨的目標；

步驟2.2:根據跟隨目標在RGB圖像中的位置，選取所在矩形區域；

步驟2.3:畫出包含跟隨目標的矩形框，作為目標的顯式標記，此時跟隨目標等價為跟隨該矩形框內圖像區域。

4.如權利要求1所述一種基于深度視覺信息的探測機器人跟隨方法，其特征在于：所述步驟5具體分為以下子步驟：

步驟5.1：根據預設的探測機器人與跟隨目標之間的安全距離、視野中心位置和當前跟隨目標相對于探測機器人的距離和方位，計算出機器人前進速度和偏轉角度；

步驟5.2：通過ROS系統發布機器人運動指令，所述運動指令包括機器人前進速度和偏轉角度。

5.如權利要求1所述一種基于深度視覺信息的探測機器人跟隨方法，其特征在于：在所述步驟5中探測機器人接收發布的機器人運動指令，包括機器人前進速度和偏轉角度；根據機器人線速度和角速度以及機器人機械構造模型，通過機器人兩輪差速運動模型，計算出機器人兩輪轉速；機器人將兩輪轉速通過CAN通信協議下達給驅動器，驅動器驅動電機執行目標跟隨運動。