[發(fā)明專利]一種基于計算機視覺的機械臂智能示教方法及應用

有效

• 申請?zhí)枺?/td>: 202011492064.X
• 申請日: 2020-12-17
• 公開（公告）號: CN112530267B
• 公開（公告）日: 2022-11-08
• 發(fā)明（設計）人: 劉今越;胡占宇;李文秀;馮重陽;李學飛
• 申請（專利權）人: 河北工業(yè)大學
• 主分類號: G09B25/02
• 分類號: G09B25/02;G06T7/246;B25J9/16
• 代理公司: 天津翰林知識產權代理事務所(普通合伙) 12210
• 代理人: 付長杰;張國榮

1.一種基于計算機視覺的機械臂智能示教方法，其特征在于，包括以下步驟：

步驟1、手持目標物，使目標物沿著期望的路徑運動，RGB-D相機獲取彩色圖和深度圖，將彩色圖輸入到目標檢測模型中進行檢測，并輸出檢測結果；針對不同背景選擇相對突出的紅色球或者藍色球作為目標物，若背景偏紅色，則選用藍色球作為目標物，反之選用紅色球；

步驟2、將檢測結果輸入到目標跟蹤模型中進行跟蹤，輸出跟蹤結果，得到彩色鏡頭坐標系下的像素目標路徑；

目標檢測與跟蹤交替進行，具體為：將第一幀圖像輸入到目標檢測模型，檢測出目標在當前幀圖像中的位置，再將此位置傳遞給目標跟蹤模型來跟蹤目標，目標跟蹤模型輸出第二幀至第m幀圖像的跟蹤結果；再將第m+1幀圖像輸入到目標檢測模型來校正第m+2幀及后續(xù)圖像的跟蹤結果；

步驟3、將深度圖映射到彩色圖，將像素目標路徑映射至彩色鏡頭坐標系下，得到目標路徑Path1；

步驟4、使用聯(lián)合雙邊濾波器對目標路徑對應的深度圖去噪，將去噪后的深度圖轉換為點云圖像，得到目標路徑的原始點云圖像；在原始點云圖像中以RGB-D相機的位置為坐標原點，分別在x,y,z三個方向上設定閾值范圍，將閾值范圍內的點作為樣本點，得到剔除背景后的點云；然后對剔除背景后的點云進行濾波處理，得到濾波后的點云，完成點云的三維重建，得到目標路徑Path1的點云圖像；

步驟5、目標路徑Path1的點云圖像進行線特征提取，得到線特征集；將目標路徑Path1與線特征集進行匹配，以目標路徑Path1為基準，在線特征集內使用直線平行度、距離為度量，認為直線平行度小于0.1，距離小于10mm的線特征為最為匹配的線特征，進而篩選出所有匹配的線特征，得到精確的目標路徑Path2；

步驟6、對機械臂進行手眼標定，將目標路徑Path2轉換至機械臂基坐標系下，得到目標路徑Path3，目標路徑Path3即為機械臂的工作路徑；

通過上述步驟完成機械臂的智能示教。

2.根據(jù)權利要求1所述的基于計算機視覺的機械臂智能示教方法，其特征在于，所述目標物為直徑為50mm的小球。

3.一種基于計算機視覺的機械臂智能示教方法的應用，其特征在于，該方法能夠應用于建筑場景中，使機械臂完成焊接、裝配或修補任務。