[發(fā)明專利]一種基于3D視覺(jué)聚類和匹配的機(jī)器人亂序目標(biāo)分揀方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201911146390.2
• 申請(qǐng)日: 2019-11-21
• 公開(kāi)（公告）號(hào): CN111091062B
• 公開(kāi)（公告）日: 2023-07-04
• 發(fā)明（設(shè)計(jì)）人: 周波;徐云輝;甘亞輝;錢堃;房芳
• 申請(qǐng)（專利權(quán)）人: 東南大學(xué)
• 主分類號(hào): G06V20/64
• 分類號(hào): G06V20/64;G06V10/75;G06V10/77;G06V10/762;G06T7/12;G06T7/181
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 徐紅梅

1.一種基于3D視覺(jué)聚類和匹配的機(jī)器人亂序目標(biāo)分揀方法，其特征在于，包括以下步驟：

(1)對(duì)采集的分揀場(chǎng)景點(diǎn)云通過(guò)RANSAC算法濾除分揀場(chǎng)景點(diǎn)云平面，并采用超體聚類和LCCP算法對(duì)堆疊分揀場(chǎng)景進(jìn)行分割點(diǎn)云平面，得到多個(gè)種類的分揀場(chǎng)景點(diǎn)云簇；

(2)通過(guò)PCA計(jì)算主軸向量，將分揀場(chǎng)景點(diǎn)云沿主軸方向投影到三維平面，并查詢?nèi)S點(diǎn)鄰域得到各分揀場(chǎng)景點(diǎn)云簇的堆疊狀態(tài)，方法為：

投影后的點(diǎn)云以最大分散程度分布在三維平面中，然后遍歷平面點(diǎn)云集，對(duì)于其中的每一點(diǎn)構(gòu)造球鄰域，當(dāng)鄰域中存在與球心點(diǎn)所屬點(diǎn)云簇不同的點(diǎn)時(shí)，則判斷這兩個(gè)點(diǎn)云簇堆疊，最后記錄所有點(diǎn)云簇的堆疊狀態(tài)；具體步驟如下：

(211)遍歷投影后的平面點(diǎn)云集Q，對(duì)于其中每一點(diǎn)q_i，構(gòu)造球鄰域U_i(q_i,δ)＝{x|q_i-δxq_i+δ}；

(212)然后在鄰域中進(jìn)行搜索，當(dāng)使得且則判定與存在堆疊，其中，為平面點(diǎn)云集Q中不同簇的點(diǎn)云，0m₁≤c，0m₂≤c，m₁∈N，m₂∈N，m₁≠m₂；

(3)通過(guò)擬合一個(gè)最小二乘意義下的微切平面，估計(jì)分揀場(chǎng)景點(diǎn)云中各點(diǎn)的法線，并利用角度判據(jù)提取各分揀場(chǎng)景點(diǎn)云簇和目標(biāo)模型的邊緣；

(4)結(jié)合各分揀場(chǎng)景點(diǎn)云簇的堆疊狀態(tài)和邊緣點(diǎn)云生成不同的邊緣候選匹配集合，利用Super4PCS粗匹配獲取初始位姿，再通過(guò)ICP精匹配進(jìn)行排序識(shí)別和位姿估計(jì)。

2.根據(jù)權(quán)利要求1所述的一種基于3D視覺(jué)聚類和匹配的機(jī)器人亂序目標(biāo)分揀方法，其特征在于，步驟(1)中對(duì)于采集的分揀場(chǎng)景點(diǎn)云，首先采用基于隨機(jī)采樣一致性RANSAC算法對(duì)分揀場(chǎng)景背景進(jìn)行刪除，濾除分揀場(chǎng)景點(diǎn)云平面，具體為：

(101)隨機(jī)從分揀場(chǎng)景點(diǎn)云中抽取子點(diǎn)云樣本；

(102)用最小方差計(jì)算子點(diǎn)云樣本對(duì)應(yīng)的平面方程ax+by+cz＝d的平面模型參數(shù)a,b,c,d，其中，x,y,z表示三維點(diǎn)空間坐標(biāo)變量；

(103)用該模型參數(shù)驗(yàn)證剩余點(diǎn)云，計(jì)算剩余點(diǎn)云中某一點(diǎn)p_i至該平面的距離d_i＝|ax_i+by_i+cz_i-d|，其中，x_i,y_i,z_i表示點(diǎn)p_i的三維坐標(biāo)分量；

(104)選取誤差范圍t，若d_i≤t則點(diǎn)p_i被認(rèn)為在給定的誤差范圍內(nèi)；

(105)如果較多的點(diǎn)在給定誤差范圍t之內(nèi)，則該隨機(jī)選取的樣本最優(yōu)，否則回到步驟(101)，循環(huán)進(jìn)行；

(106)最后根據(jù)平面模型參數(shù)，濾除場(chǎng)景點(diǎn)云中在誤差范圍之內(nèi)的點(diǎn)云子集。

3.根據(jù)權(quán)利要求1所述的一種基于3D視覺(jué)聚類和匹配的機(jī)器人亂序目標(biāo)分揀方法，其特征在于，步驟(1)中超體聚類具體為：

(111)對(duì)輸入的分揀場(chǎng)景點(diǎn)云布置規(guī)律的區(qū)域生長(zhǎng)晶核，晶核在空間中均勻分布；

(112)指定晶核半徑R_seed和晶粒距離，以及最小晶粒的結(jié)核范圍，控制結(jié)晶過(guò)程；

(113)然后使所有晶核在點(diǎn)云體素的八叉樹(shù)中進(jìn)行搜索，根據(jù)體素差異同時(shí)吸納相似晶粒，區(qū)域生長(zhǎng)從而形成數(shù)量較多的超體素塊；體素差異公式為：

其中，D_c、D_n、D_s分別表示點(diǎn)云體素的顏色差異、法線差異、距離差異，w_c，w_n，w_s分別表示對(duì)應(yīng)的權(quán)重，體素差異小于D的吸納入晶核。