[發明專利]一種非合作拋體的軌跡預測與捕獲方法和裝置

有效

• 申請號: 202210433994.0
• 申請日: 2022-04-24
• 公開（公告）號: CN114549592B
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 孟啟煒;朱世強;寄珊珊;袁海輝;李特;顧建軍
• 申請（專利權）人: 之江實驗室
• 主分類號: G06T7/277
• 分類號: G06T7/277;G06T7/70;G06T7/80
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

1.一種非合作拋體的軌跡預測與捕獲方法，其特征在于，包括以下步驟：

步驟一：基于高幀率RGB相機實現對目標拋體的粗定位；將高幀率RGB相機固定于實驗場景，調整拍攝角度，使高幀率RGB相機拍攝到目標拋體空間運動全過程信息，進而獲得目標拋體的RGB圖像；

步驟二：基于校正后的卡爾曼濾波跟蹤器實現對目標拋體運動軌跡的粗預測，得到粗預測結果；

步驟三：基于粗預測結果控制帶RGBD深度相機的移動機械臂移動到最佳視覺觀測點后，基于RGBD深度相機實現對目標拋體的精定位；

步驟四：基于多幀精定位結果進行目標拋體運動軌跡建模，并據此獲得目標拋體的捕獲點的精準坐標；

步驟五：基于RGBD深度相機計算捕獲點處目標拋體的6D姿態并實施捕獲；使用帶RGBD深度相機的移動機械臂中的機械手對目標拋體進行捕獲。

2.根據權利要求1所述的一種非合作拋體的軌跡預測與捕獲方法，其特征在于，所述步驟一具體為：

將高幀率RGB相機固定于實驗場景，調整拍攝角度，使高幀率RGB相機拍攝到目標拋體空間運動全過程信息，進而獲得目標拋體的RGB圖像；再使用張氏標定法對高幀率RGB相機進行內外參標定；隨后對于獲得的RGB圖像，通過基于灰度差異的物體邊緣檢測方法獲得目標拋體的檢測框；通過目標拋體的檢測框得到在圖像坐標系下目標拋體檢測框中心點的坐標以及檢測框的寬和高；結合高幀率RGB相機的內參標定結果得到目標拋體檢測框中心點在高幀率RGB相機坐標系下的坐標；再結合高幀率RGB相機的外參標定結果，將檢測框中心點在高幀率RGB相機坐標系下的坐標轉換到世界坐標系下檢測框中心點的坐標，由此基于高幀率RGB相機實現目標拋體的粗定位，所述高幀率RGB相機的幀率大于100。

3.根據權利要求1所述的一種非合作拋體的軌跡預測與捕獲方法，其特征在于，所述步驟二具體為：

（2.1）使用目標拋體被拋出時刻在圖像坐標系下檢測框中心點的坐標以及檢測框寬和高對卡爾曼濾波跟蹤器進行初始化；

（2.2）使用目標拋體運動初期p幀的在圖像坐標系下檢測框中心點的坐標以及檢測框寬和高作為真值對初始化后的卡爾曼濾波跟蹤器進行校正；

（2.3）使用校正后的爾曼濾波跟蹤器預測生成p幀后目標拋體在圖像坐標系下的運動軌跡，包括p幀后任一時刻在圖像坐標系下檢測框中心點的坐標以及檢測框寬和高，隨后結合高幀率RGB相機的內參標定結果得到在高幀率RGB相機坐標系下檢測框中心點的坐標，再結合高幀率RGB相機的外參標定結果得到在世界坐標系下檢測框中心點的坐標；在世界坐標系下檢測框中心點的坐標作為目標拋體運動軌跡的粗預測結果，由此基于校正后的卡爾曼濾波跟蹤器實現對目標拋體運動軌跡的粗預測。