[發明專利]基于3D視覺的機器人自動抓取系統及方法

有效

• 申請號: 202210003442.6
• 申請日: 2022-01-04
• 公開（公告）號: CN114193440B
• 公開（公告）日: 2023-09-12
• 發明（設計）人: 陸坤;葛樓云;魯小翔;張瑞
• 申請（專利權）人: 中船重工鵬力（南京）智能裝備系統有限公司
• 主分類號: B25J9/08
• 分類號: B25J9/08;B25J9/16;B25J15/08;B25J19/02
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 張婧

1.一種基于3D視覺的機器人自動抓取方法，其特征在于，包括如下步驟：

抓取機器人向工控機發送請求數據指令，工控機接收抓取機器人的請求數據指令，工控機判斷是否緩存有處理結果，有則返回處理結果至抓取機器人，沒有則控制3D相機拍照；工控機接收到抓取機器人的拍照指令則控制3D相機拍照；工控機接收3D相機返回的原始三維點云數據，基于原始三維點云數據，判斷是否拍到目標零件；若拍到目標零件則基于目標零件的原始三維點云數據，再進行點云處理計算得到零件空間位姿數據和狀態信息，并緩存為處理結果；若未拍到目標零件則另外判斷零件是否全部抓取完成，得到零件空間位姿數據和狀態信息，并緩存為處理結果；抓取機器人接收工控機返回的處理結果，根據處理結果，調整抓取點坐標與抓取角度并抓取零件、輸出拍照指令和更換料框指令；

所述判斷是否拍到目標零件的具體方法為：

對原始三維點云數據進行點云濾波，得到濾波后的點云P′，獲取模板零件對應的模板點云P_m，對比點云P′和模板點云P_m，點云P'中點的數量大于模板點云P_m中點的數量的閾值百分比，則判斷濾波后的點云P'包含目標零件；

所述點云濾波的具體方法為：

(1)采用統計濾波法對原始點云數據{P}進行濾波，去除離群點，得到點云{P₁’}；

(2)對點云{P₁’}進行體素降采樣，得到點云{P₂’}；

(3)分割料框點云，采用直通濾波分割料框點云：設置供料臺左上角為參考點，其在相機坐標系下的坐標(X，Y)，根據供料臺高度H，料框高度h，料框長L，料框寬W，設定最大料框誤差Δ＝{Δh，ΔL，ΔW}，則設置直通濾波參數為：

經過直通濾波得到濾波后的點云{P₃’}；

(4)去除料框平面，采用RANSAC平面模型分割方法去除料框平面，得到{P_c’}，

(4.1)計算法線，對點云{P₃’}計算法線，得到P₃‘_Normals；計算過程運用OpenMP技術進行加速；

(4.2)采用RANSAC方法進行平面分割；以點云{P₃’}及其法線P₃‘_Normals為輸入，設置最大迭代次數M_itera＝1000，距離權重W＝0.1，距離閾值Δ＝12，提取出點云{P₃’}中平面點云{P’_plan}；

(4.3)去除平面，將點云{P’_plan}中的點從點云{P₃’}中去除，得到不含平面的點云{P_c’}；

(5)分割零件點云，根據料框左上角坐標(X′，Y’)，零件長l，寬w，擺放誤差Δ‘＝{Δl’，Δw’}，對于第n次抓取，直通濾波參數為：

其中，N為抓取次數，C為料框列數，％為取余符號，[]為取整符號；依此分割出每次抓取零件的點云P’。

2.根據權利要求1所述的一種基于3D視覺的機器人自動抓取方法，其特征在于：

若拍到目標零件，抓取機器人根據處理結果調整抓取點坐標與抓取角度并抓取零件，并向工控機發送拍照指令，然后抓取機器人將零件放置于工裝板上；

若未拍到目標零件且未全部抓取完成，抓取機器人根據處理結果向工控機發送拍照指令；

若未拍到目標零件且全部抓取完成，抓取機器人根據處理結果向上料機器人發送更換料框指令。

3.根據權利要求1所述的一種基于3D視覺的機器人自動抓取方法，其特征在于：模板點云P_m的獲取方法為：將抓取機器人移動到抓取點，在抓取點放置一個模板零件，使得機器人能夠正確抓取；使用3D相機掃描模板零件，獲得的模板零件點云即作為模板點云P_m。