[發明專利]基于視覺的煤礦用坑道鉆機機器人自動裝卸鉆桿定位方法

在審

• 申請號: 202310271314.4
• 申請日: 2023-03-20
• 公開（公告）號: CN116398065A
• 公開（公告）日: 2023-07-07
• 發明（設計）人: 梅爽;成梓銘;吳承睿;賀鑫;文國軍
• 申請（專利權）人: 中國地質大學（武漢）
• 主分類號: E21B19/14
• 分類號: E21B19/14;E21B44/00;E21B19/18;G06T7/80;G06T7/70;B23P19/00;B25J9/16
• 代理公司: 武漢知產時代知識產權代理有限公司 42238
• 代理人: 魏波

1.一種基于視覺的煤礦用坑道鉆機機器人自動裝卸鉆桿定位方法，其特征在于，包括以下步驟：

S1：對相機進行標定、并進行機器人手眼標定，得到手眼矩陣；

S2：示教相機拍照點、鉆桿放置點，采集包含合作靶的圖像作為期望圖像，根據機器人末端姿態、手眼矩陣、期望圖像信息，將相機拍照點與合作靶之間的相對姿態設定為固定約束條件，并建立基于視覺的裝卸鉆桿的定位模型；

S3：機器人視覺系統控制機器人移動，使滿足相機拍照點和合作靶之間的固定約束條件；

S4：根據機器人移動后的姿態、鉆桿放置點與相機拍照點的變換關系，計算出鉆桿放置位置，并控制機器人關節驅動機器人至夾持器位置，放置或抓取鉆桿。

2.根據權利要求1所述的煤礦用坑道鉆機機器人自動裝卸鉆桿定位方法，其特征在于，步驟S1具體包括：

S11：對二維相機進行標定，根據相機采集到的多組包含合作靶的圖像，建立三維空間的物體在二維相機平面的映射關系，計算出相機的內參信息；

S12：將相機固定于機器人末端，通過移動不同的位姿，并記錄圖像，計算出機器人末端法蘭與相機中心的變換關系，即手眼矩陣。

3.根據權利要求1所述的煤礦用坑道鉆機機器人自動裝卸鉆桿定位方法，其特征在于，步驟S2具體包括：

S21：通過機器人示教器，移動攜帶鉆桿的機器人至鉆機夾持卡槽中，記錄為鉆桿放置點；

S22：移動機器人至鉆機上方，記錄為相機拍照點；

S23：采集包含合作靶的圖像作為期望圖像；

S24：根據機器人末端姿態、手眼矩陣、期望圖像信息，將相機拍照點與合作靶之間的相對姿態設定為固定約束條件，建立基于視覺的裝卸鉆桿的定位模型。

4.根據權利要求3所述的煤礦用坑道鉆機機器人自動裝卸鉆桿定位方法，其特征在于，步驟S3具體包括：

S31：根據基于視覺的裝卸鉆桿的定位模型，根據相機內參信息和P3P算法求解機器人裝卸鉆桿過程中采集的圖像中合作靶在相機坐標系下的變換矩陣，初始設定期望圖像中合作靶與初始相機之間的相對姿態變換矩陣為，即系統固定約定條件；根據采集圖像與設定期望圖像中獲取的相對合作靶的相對姿態，依據坐標系間變換關系得到當前相機坐標系與理想固定約束下的相機坐標系間的變換矩陣：

其中，表示合作靶在當前相機坐標系下的變換矩陣，表示合作靶與期望相機拍照點即相機坐標系間的固定約束條件；

S32：根據鉆機裝卸系統中機器人基坐標系、機械臂末端坐標系、相機坐標系、目標合作靶坐標系和夾持器坐標系的系間坐標系變換框架，得到當前姿態的機器人末端相機坐標系的位姿矩陣：

S33：依據當前相機位姿與期望相機位姿之間的變換矩陣，得到基于當前機器人位置的合作靶識別與定位的變換矩陣完整變換路徑：

其中是通過機器人示教器獲得的機器人末端坐標系與機器人基坐標系之間的變換矩陣，是通過手眼標定算法獲得的手眼矩陣，為合作靶位姿與期望相機位姿之間的變換矩陣；

S34：通過合作靶識別與定位的變換矩陣計算出的機器人末端相機的下一步姿態，使當前狀態的相機拍照位置與合作靶圖像之間的相對姿態滿足初始相機拍照點與初始合作靶目標之間的固定約束條件。

5.根據權利要求4所述的煤礦用坑道鉆機機器人自動裝卸鉆桿定位方法，其特征在于，下一步姿態的機器人末端姿態變換矩陣為：。

6.根據權利要求1所述的煤礦用坑道鉆機機器人自動裝卸鉆桿定位方法，其特征在于，步驟S4具體包括：

S41：完成相機拍照位置與合作靶圖像之間的相對姿態滿足初始相機拍照點與初始合作靶目標之間精確定位后，根據手動示教獲得的相機拍照點和鉆桿放置點得到變換矩陣，得到鉆桿放置位置在機器人世界坐標系下的描述，即鉆桿放置點位：

其中表示鉆桿放置位置在機器人基坐標系下的變換矩陣，表示基于當前位置的合作靶識別與定位的變換矩陣，表示手眼矩陣的逆變換矩陣，

表示鉆桿放置點在機器人末端坐標系下的變換矩陣。