[發明專利]基于三維點云特征的工業機器人工件識別與位姿估計方法

有效

• 申請號: 202011641151.7
• 申請日: 2020-12-31
• 公開（公告）號: CN112669385B
• 公開（公告）日: 2023-06-13
• 發明（設計）人: 張鐵;肖卓;鄒焱飚;何英武
• 申請（專利權）人: 華南理工大學;中山市華南理工大學現代產業技術研究院
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/80;G06T17/00;G01B11/24
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 江裕強

1.基于三維點云特征的工業機器人工件識別與位姿估計方法，該方法所基于的識別系統包括工業機器人、機器人控制柜、三維掃描儀、嵌入式工業控制機、工作臺，其特征在于，所述方法包括以下步驟：

S1、識別開始前，對需要識別的工件創建三維工件模型，生成模型點云，建立模型數據庫，對模型點云數據進行訓練；

建立模型數據庫，對模型點云數據進行訓練，具體包括以下步驟：

S11.在模型點云上使用統一的特征點采樣，即通過建立空間體素柵格進行采樣，再用每個體素內的重心代表該體素內的特征點F；

其中：n表示點云中點的個數，(q_xi,q_yi,q_zi)表示每個點的x、y、z的坐標值；

S12.基于特征點F建立該點球形支持域內的局部坐標系，建立局部坐標系；

S13.在局部坐標系確定后，對球形支持域中的結構形狀信息進行統計，建立3-D描述符SHOT特征，根據在特征點F處建立的局部坐標系將r半徑球領域劃分為H空間區域，其中空間區域包括若干個徑向區、若干個方位角區、若干個仰角區；

對于每個區域由局部直方圖表示，每個直方圖分為h個小單元，各單元的值根據網格中相應部分的每個點的法線n_vi與特征點法線n_u之間的夾角θ_i余弦值來累計點數而構建，即

cosθ_i＝n_u·n_vi

最終SHOT描述符的維度為H×h，根據局部坐標系將所有直方圖并排在一起；

S14.采用四次線性插值法對局部直方圖中相鄰的單元格和相鄰直方圖同一單元格內進行插值，每個計數乘以每個維度的權重1-d，對于法矢夾角余弦，直方圖相鄰單元格插值d的定義為：

在方位角方向、仰角方向和徑向方向插值類似，其中s表示相鄰單元格間距；

根據法矢直方圖完成SHOT特征的描述，存儲每個工件的模型點云的SHOT描述符特征后供后續的識別過程使用；

所述建立局部坐標系包括以下步驟：

1)由特征點F的k個最近鄰域點集P＝{p_i,i＝1,2...k}，建立協方差矩陣M：

其中，p_i表示k鄰域中的第i個點，表示點集的質心：

對M進行特征值分解，采用總體最小二乘法估計法線方向，依次計算加權協方差矩陣M：

其中：d_i＝||p_i-F||₂表示p_i與特征點F之間的歐幾里德距離，r是球面領域的半徑，求得加權協方差矩陣M特征向量即為局部坐標系的三個單位向量；

2)對協方差矩陣M的特征向量采用符號一致性的方法消除歧義，將最大和最小特征值及對應的特征向量分別定義為局部坐標系x軸和z軸的單位向量，則消除歧義的x軸定義為：

其中，x⁺表示x軸的正半軸方向，x^-表示x軸的負半軸方向，表示特征點F指向p_i的向量與x正半軸同向的累計數，表示特征點F指向p_i的向量與x負半軸同向的累計數，表示；

使用相同的過程消除z軸的歧義，最后y軸通過標準正交約束下的叉乘得到：

y＝z×x；

S2、識別開始時，采集當前場景點云，提取特征點，并基于特征點的球鄰域內建立SHOT步驟

S3、在三維空間中，根據步驟S2得到的SHOT描述符將場景點云與模型點云建立初始對應關系，根據向量空間中轉換關系完成對工件的識別，計算出場景點云中的工件實例相對于模板點云的相對位姿關系；

S4、獲取場景點云的工件實例相對于工業機器人基坐標系下的位姿關系，并實時發送給機器人控制柜進行處理，控制機器人的末端執行器完成識別及抓取工件。

2.根據權利要求1所述的基于三維點云特征的工業機器人工件識別與位姿估計方法，其特征在于，所述創建三維工件模型，生成模型點云是使用SolidWorks三維制圖軟件生成三維工件模型，保存為stl、obj格式文件。