[發明專利]一種非合作拋體的軌跡預測與捕獲方法和裝置

有效

• 申請號: 202210433994.0
• 申請日: 2022-04-24
• 公開（公告）號: CN114549592B
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 孟啟煒;朱世強;寄珊珊;袁海輝;李特;顧建軍
• 申請（專利權）人: 之江實驗室
• 主分類號: G06T7/277
• 分類號: G06T7/277;G06T7/70;G06T7/80
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

本發明公開了一種非合作拋體的軌跡預測與捕獲方法和裝置，其創新性地高效應用了高幀率RGB相機以及RGBD深度相機的感知信息，實現拋體在空間的快速精確定位?；诙ㄎ恍畔ⅲ景l明又提出了基于卡爾曼濾波的拋體軌跡粗擬合以及基于物理學建模的軌跡精擬合實現方案，通過融合軌跡粗擬合與精擬合信息，本發明方法可根據實際場景和任務特點，低成本，高精度，高穩定性的實現空間拋體的軌跡預測與捕獲。

技術領域

本發明屬于計算機視覺與智能機器人交叉創新領域，具體涉及一種非合作拋體的軌跡預測與捕獲方法和裝置。

背景技術

空間非合作拋體的軌跡預測與捕獲方法是機器人的重要技術之一，對機器人落地應用有著重大意義，特別是球類機器人，通過此項技術，機器人可以快速捕捉空間運動物體，實現避障，抓取，互動等一系列操作。

目前，對于非合作拋體的軌跡預測與捕獲主要基于動態捕捉系統。而該套系統具有兩個主要弊端：一方面，動捕系統價格昂貴，且對試驗場景的搭建有較高的要求。另一方面，動捕系統需要在拋體上安裝傳感器，這些都在很大程度上限制了該項技術廣泛應用。

發明內容

本發明的目的在于針對現有技術的不足，提供了一種非合作拋體的軌跡預測與捕獲方法和裝置。該方法安裝標定方便，價格低，精度高，穩定性好，對智能機器人的落地應用具有重要意義。

本發明的目的是通過以下技術方案來實現的：一種非合作拋體的軌跡預測與捕獲方法，包括以下步驟：

步驟一：基于高幀率RGB相機實現對目標拋體的粗定位；

步驟二：基于校正后的卡爾曼濾波跟蹤器實現對目標拋體運動軌跡的粗預測，得到粗預測結果；

步驟三：基于粗預測結果控制帶RGBD深度相機的移動機械臂移動到最佳視覺觀測點后，基于RGBD深度相機實現對目標拋體的精定位；

步驟四：基于多幀精定位結果進行目標拋體運動軌跡建模，并據此獲得目標拋體的捕獲點的精準坐標；

步驟五：基于RGBD深度相機計算捕獲點處目標拋體的6D姿態并實施捕獲。

進一步地，所述步驟一具體為：

將高幀率RGB相機固定于實驗場景，調整拍攝角度，使高幀率RGB相機拍攝到目標拋體空間運動全過程信息，進而獲得目標拋體的RGB圖像；再使用張氏標定法對高幀率RGB相機進行內外參標定；隨后對于獲得的RGB圖像，通過基于灰度差異的物體邊緣檢測方法獲得目標拋體的檢測框；通過目標拋體的檢測框得到在圖像坐標系下目標拋體檢測框中心點的坐標以及檢測框的寬和高；結合高幀率RGB相機的內參標定結果得到目標拋體檢測框中心點在高幀率RGB相機坐標系下的坐標；再結合高幀率RGB相機的外參標定結果，將檢測框中心點在高幀率RGB相機坐標系下的坐標轉換到世界坐標系下檢測框中心點的坐標，由此基于高幀率RGB相機實現目標拋體的粗定位，所述高幀率RGB相機的幀率大于100。

進一步地，所述步驟二具體為：

（2.1）使用目標拋體被拋出時刻在圖像坐標系下檢測框中心點的坐標以及檢測框寬和高對卡爾曼濾波跟蹤器進行初始化；

（2.2）使用目標拋體運動初期p幀的在圖像坐標系下檢測框中心點的坐標以及檢測框寬和高作為真值對初始化后的卡爾曼濾波跟蹤器進行校正；

（2.3）使用校正后的爾曼濾波跟蹤器預測生成p幀后目標拋體在圖像坐標系下的運動軌跡，包括p幀后任一時刻在圖像坐標系下檢測框中心點的坐標以及檢測框寬和高，隨后結合高幀率RGB相機的內參標定結果得到在高幀率RGB相機坐標系下檢測框中心點的坐標，再結合高幀率RGB相機的外參標定結果得到在世界坐標系下檢測框中心點的坐標；在世界坐標系下檢測框中心點的坐標作為目標拋體運動軌跡的粗預測結果，由此基于校正后的卡爾曼濾波跟蹤器實現對目標拋體運動軌跡的粗預測。