[發明專利]一種基于多模態視覺信息融合的機器人抓取檢測方法

在審

• 申請號: 202211212605.8
• 申請日: 2022-09-30
• 公開（公告）號: CN115861999A
• 公開（公告）日: 2023-03-28
• 發明（設計）人: 高劍;郭靖偉;陳依民;李宇豐;張昊哲;楊旭博;張福斌
• 申請（專利權）人: 西北工業大學
• 主分類號: G06V20/64
• 分類號: G06V20/64;G06V10/764;G06V10/82;G06V10/80;G06V10/42;G06V10/44;B25J9/16
• 代理公司: 西安凱多思知識產權代理事務所(普通合伙) 61290
• 代理人: 劉新瓊

1.一種基于多模態視覺信息融合的機器人抓取檢測方法，其特征在于步驟如下：

步驟1：通過深度相機獲取含有目標物體的RGB圖像和深度圖像；

步驟2：利用深度學習YOLO網絡檢測RGB圖像中目標物體的外接矩形框；

步驟3：利用矩形框對應的深度信息獲取目標物體的在相機坐標系下的包圍盒的三維坐標；

步驟4：根據目標物體包圍盒的角點信息分割提取目標物體的點云集合；

步驟5：對分割得到的點云進行體素化降采樣，點云濾波，點云聚類得到目標物體的理想點云；

步驟6：計算目標理想點云的質心以及利用PCA算法計算點云法向量方向作為目標抓取接近參考方向，以此作為目標物體點云的全局信息；

步驟7：對目標點云進行隨機均勻采樣，生成候選抓取姿態，通過旋轉平移拓展更多的抓取姿態；

步驟8：將抓握候選內部點云編碼為壓縮的多通道圖像，使用卷積神經網絡計算每個抓取候選的分數；

步驟9：計算抓取候選中心點與物體點云質心的歐氏距離以及抓取接近方向與抓取接近參考方向的夾角，通過計算抓取候選分數，歐氏距離以及夾角加權分數之和選出質量最高的抓取作為機器人抓取目標的位姿，有效融合目標物體的全局點云與局部點云信息。

2.根據權利要求1所述基于多模態視覺信息融合的機器人抓取檢測方法，其特征在于：步驟1中所述的相機為深度相機或者雙目相機，既可以固定在機械臂末端隨機械臂運動，也可以完全固定。

3.根據權利要求1所述基于多模態視覺信息融合的機器人抓取檢測方法，其特征在于：步驟2中所述的深度學習YOLO網絡是以RGD圖像中物體矩形框物體類別，中心點坐標與圖像寬高相對比值和高度寬度與圖像寬高相對比值為標簽，訓練YOLO目標物體檢測模型，獲取目標包圍盒角點所對應的像素坐標。

4.根據權利要求1所述基于多模態視覺信息融合的機器人抓取檢測方法，其特征在于：步驟3具體為：基于RGB圖像中的目標矩形框，通過融合深度圖像中矩形框所在區域的深度信息的最大值與最小值，以此計算目標物體在相機坐標系下包圍盒的幾何信息以及相機坐標系下的角點坐標。

5.根據權利要求1所述基于多模態視覺信息融合的機器人抓取檢測方法，其特征在于：步驟4所述的分割提取點云是根據包圍盒信息，即目標物體在相機坐標系沿x，y，z三軸的坐標范圍，并加入放大系數λ來確保保留目標物的全部點云，進而利用點云直通濾波器分割提取目標點云。

6.根據權利要求1所述基于多模態視覺信息融合的機器人抓取檢測方法，其特征在于：步驟5所述的對分割提取出的點云進行處理操作，點云體素化降采樣操作用于降低點云數據量，點云濾波可采用半徑濾波或統計濾波，用于去除離群點，點云聚類操作用于獲取最大的聚類點集以獲取目標物體點云。

7.根據權利要求1所述基于多模態視覺信息融合的機器人抓取檢測方法，其特征在于：步驟6所述的目標物體點云C的全局信息包括質心P_cen(x_cen,y_cen,z_cen)和抓取接近方向v₃，其中點云集C包含n個點，表示為：

C＝(c₁,c₂,...,c_n)

質心P_cen為點云集中所有點坐標值的平均值，計算公式為：

抓取接近方向通過PCA算法計算點云協方差矩陣S的特征值λ₁,λ₂,λ₃與對應特征向量v₁,v₂,v₃獲得，其中λ₁≥λ₂≥λ₃；方差最小的方向是目標點云的法向量方向，作為抓取接近的參考方向，即v₃；其中點云協方差計算方式為：