[發明專利]基于ConvPoint模型引導機械臂抓取不同位姿物料的分揀方法

有效

• 申請號: 202011519487.6
• 申請日: 2020-12-21
• 公開（公告）號: CN112819135B
• 公開（公告）日: 2022-09-02
• 發明（設計）人: 李會軍;瞿孝昌;吳非;葉賓;張培媛;王典;劉越;熊佳俊;謝英男
• 申請（專利權）人: 中國礦業大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;B25J9/16;B07C5/36
• 代理公司: 北京淮海知識產權代理事務所(普通合伙) 32205
• 代理人: 張旭

1.一種基于ConvPoint模型引導機械臂抓取不同位姿物料的分揀方法，其特征在于，采用的分揀系統包括3D結構光相機、機械臂和計算機，3D結構光相機用于拍攝柔性生產線傳送帶上物料的圖像并反饋給計算機，計算機用于對拍攝的圖像進行處理后，控制機械臂對柔性生產線傳送帶上的不同物料進行分揀，具體步驟為：

S1、通過九點標定法獲取相機坐標系與機械臂坐標系之間的空間轉換矩陣，具體為：

先通過示教器控制機械臂的末端夾具移動到標定板上的M個點得到在機器人坐標系中的坐標，同時利用3D結構光相機識別標定板上的同樣數量的點得到在相機坐標系下的坐標，此時能得到M組對應的坐標，從而計算出相機坐標系與機械臂坐標系之間的空間轉換矩陣T_cw；

S2、3D結構光相機獲取傳送帶上各個物料的三維點云信息，并反饋給計算機對獲取的點云進行預處理，具體為：

通過3D結構光相機掃描傳送帶上的物料，得到原始點云信息，利用PCL點云庫對點云進行直通濾波、下采樣和離群點移除的預處理過程，從而獲得預處理后的點云圖像；

S3、將預處理后的點云圖像進行下采樣，利用基于八叉樹的空間劃分的半徑內近鄰算法找到每個采樣點附近內的點，形成多個點云小模塊，具體為：

對步驟S2預處理之后的點云圖像再次進行下采樣，且其使用的體素網格葉比步驟S2的下采樣體素網格葉更大，獲得n個采樣點；利用基于八叉樹的空間劃分的搜索半徑內近鄰算法找到每個采樣點附近內的點，所述搜索半徑設為機械臂末端夾具最大寬度的一半；每個采樣點及其對應的搜索半徑內的點云重新組合形成n個點云小模塊；

S4、對每一個點云小模塊進行主元分析，形成多個點云包絡盒，每個包絡盒生成一個當前局部最優抓取位姿，從而完成高質量抓取位姿的采樣，具體為：

設[[a,b]]表示從a到b的整數序列，步長為1，對步驟S3獲得n個點云小模塊分別進行主元分析，設采樣點P_i對應的點云小模塊有m個點，則該點云小模塊能表示為m*3的矩陣D_i：

其中i∈[[0,n-1]]，(x_j,y_j,z_j),j∈[[0,m-1]]代表索引為j的點的三維空間坐標，將點云矩陣D_i的每一列作均值歸零處理，獲得矩陣D_i’:

其中μ_x、μ_y和μ_z分別代表點云矩陣D_i中x、y和z的平均值，令每個點的質量為1，根據質心公式：

能得出點云矩陣D_i對應的質心P_c(μ_x，μ_y，μ_z)，D_i均值歸零處理是將點云的質心移到原點，不影響主元方向；則該點云小模塊的協方差矩陣C_i表示為：C_i＝D_i'^TD_i'；

根據協方差矩陣C_i求出其特征向量v₁、v₂和v₃以及對應的特征值λ₁、λ₂和λ₃；根據主元分析理論得出，該點云小模塊的主元向量為其協方差矩陣C_i的特征向量v₁、v₂和v₃,各自保存的信息量為對應的特征值λ₁、λ₂和λ₃；根據每個點云小模塊的3個主元向量，繪制出各自對應的包絡盒，比較每個包絡盒各自的長寬高，計算出其中最小的一邊所對應的主元向量v_min，同時求出每個包絡盒對應的采樣點P_i處的法線向量v_n；以點P_i作為抓取點，求得機械臂末端夾具的3D抓取位置p_i＝P_i，令機械臂末端方向與法線向量v_n相同，機械臂末端夾具平面平行于向量v_min，求得機械臂末端夾具的3D抓取方向r_i，從而獲得機械臂執行機構的6D抓取位姿g_i＝(p_i,r_i)，最終完成高質量抓取位姿的采樣；

S5、建立ConvPoint模型，設X＝{(u_j,f_j)}為點云輸入，K＝{(c_i,w_i)}為卷積核，u_j和c_i，f_j和w_i分別代表空間域值和特征域值，y為卷積層輸出，令X和K的基數分別為|X|和|K|，且|X|＝|K|，其中i,j∈|X|；C為輸出通道數，|Q|為輸出點云個數，k為K近鄰搜索算法中搜索點個數；最終卷積層輸出y被定義為：

其中β為偏移量，為幾何權重函數，將函數應用于{u_j-c_i}，即點對于卷積核元素的相對位置的集合，同時選擇求和函數作為對稱函數來提取特征，最后通過一個全連接學習獲取φ，輸入點云在經過5層上述卷積操作之后，逐漸減少點云的輸出數量|Q|，增加輸出通道C，并根據質量指標Q(s,g)進行人工標注，最后再將最終卷積層輸出y輸入到神經網絡里面，利用標注的數據對ConvPoint模型進行訓練，從而獲得訓練好的ConvPoint模型；

然后將步驟S4獲得的高質量抓取位姿候選輸入到提前訓練好的ConvPoint模型中進行評估，在多目標抓取中將抓取位姿的實際高度也作為評估指標之一，得分最高的作為最后的全局最優抓取位姿，具體為：

設步驟S4獲取的機械臂末端夾具抓取位姿為g，用s＝(W_o,M_o,γ_o)表示抓取目標o，其中W_o、M_o和γ_o分別表示抓取目標o的6D位姿、幾何屬性以及與夾具之間的摩擦系數，為評估步驟S4采樣到的抓取位姿g的質量，定義質量指標為Q(s,g)為：

Q(s,g)＝α₁Q_fc(s,g)+α₂Q_gws(s,g)+α₃Q_h(s,g)

其中Q_fc(s,g)為夾具與抓取目標之間摩擦力的倒數，Q_gws(s,g)為夾具完成夾取任務時的寬度，Q_h為抓取位姿實際的垂直高度，α₁、α₂和α₃為系數常量；

根據抓取位姿g以及夾具的長寬高參數，將步驟S2預處理之后的點云圖像通過直通濾波操作獲取夾具閉合區域內部的點云，并將該點云進行上/下采樣、歸一化和中心化的操作，最后輸入到提前訓練好的ConvPoint模型中進行質量評估；

S6、將最終得到的最優抓取位姿通過步驟S1獲取的轉換矩陣，變換到機械臂坐標系中，通過串口發送給機械臂，機械臂運動到最優抓取位姿處，通過夾具實現物料的抓取分揀，具體為：

根據步驟S5質量評估的輸出和抓取的垂直高度進行綜合評估，得分最高的作為最優抓取位姿，根據步驟S1獲得的轉換矩陣T_cw，再將最優抓取位姿轉換到機械臂坐標系中，并將信息發送給機械臂，機械臂通過夾具實現一個物料的抓取分揀；

S7、重復S2至S6的步驟，直到傳送帶上的所有物料全部被分揀完畢。

2.根據權利要求1所述的一種基于ConvPoint模型引導機械臂抓取不同位姿物料的分揀方法，其特征在于，所述步驟S1中的M值為9。