[發(fā)明專利]基于視覺和主動交互的包裝箱分割錯誤的檢測與矯正方法

有效

• 申請?zhí)枺?/td>: 201811443145.3
• 申請日: 2018-11-29
• 公開（公告）號: CN109658388B
• 公開（公告）日: 2021-03-30
• 發(fā)明（設計）人: 黃金;鄭林濤
• 申請（專利權）人: 湖南視比特機器人有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/13;G06T7/187;G06T7/564;G06T7/60;G06T7/70
• 代理公司: 重慶市信立達專利代理事務所(普通合伙) 50230
• 代理人: 包曉靜

1.一種基于視覺和主動交互的包裝箱分割錯誤的檢測與矯正方法，其特征在于，所述基于視覺和主動交互的包裝箱分割錯誤的檢測與矯正方法包括以下步驟：

步驟一：基于目標檢測模型結果的區(qū)域提取；根據(jù)目標檢測模型的預測得到對應包裝箱的掩碼結果，取出對應的圖片像素區(qū)域；將對應的掩碼區(qū)域轉化成三維點云；采用隨機抽樣一致算法對包裝箱的抓取平面進行提取，將屬于平面的局內點作為最終有效點集，采用計算點集的最小面積包圍矩形的算法，估算出包裝箱抓取頂面的矩形邊界；

步驟二：基于二維視覺算法的疑似錯誤分割檢測；根據(jù)已經(jīng)提取出包裝箱抓取面矩形包圍框，將對應的包裝箱從RGB圖像中分割出來，進行疑似錯誤分割檢測；

步驟三：基于主動交互式策略的錯誤分割判定；采用機器人主動交互式的方式，對疑似錯誤的分割進行逐一認定；

步驟四：錯誤分割的矯正及正確抓取位置計算；在機器人對疑似錯誤箱體進行移動之后，通過二次拍照檢測，將之前的錯誤分割進行矯正；矯正后采用對抓取點估計的方法重新計算包裝箱的抓取點位置以及姿態(tài)；

所述步驟一中，將對應的掩碼區(qū)域轉化成三維點云，采用深度圖轉三維點云算法，具體為：

一個空間點[x，y，z]和它在圖像中的像素坐標[u，v，d]的對應關系如下：

d＝z·s

其中，f_x，f_y是指相機在x，y兩個軸上的焦距，C_x，C_y指相機的光圈中心，s指深度圖的縮放因子；從(x，y，z)推導到(u，v，d)，可以寫成已知(u，v，d)，推導(x，y，z)的方式；從深度圖得到三維點云：

z＝d/s

x＝(u-c_x)·z/f_x

y＝(v-c_y)·z/f_y。

2.如權利要求1所述的基于視覺和主動交互的包裝箱分割錯誤的檢測與矯正方法，其特征在于，所述步驟二中，錯誤分割檢測分為欠分割檢測和過分割檢測。

3.如權利要求2所述的基于視覺和主動交互的包裝箱分割錯誤的檢測與矯正方法，其特征在于，所述步驟二中，欠分割檢測，采用邊緣檢測算法進行欠分割處理，具體為：

(1)對當前的包裝箱區(qū)域進行邊緣線提取；

(2)對所有提取的邊緣線進行二次處理。

4.如權利要求2所述的基于視覺和主動交互的包裝箱分割錯誤的檢測與矯正方法，其特征在于，所述步驟二中，過分割檢測，采用相鄰包圍框檢測的算法，對過分割的箱子進行識別，具體為：

(1)根據(jù)目標檢測模型的結果，對所有的包裝箱的最小包圍矩形進行提取；

(2)以最高包裝箱的高度為準，查找在同一高度上的其余包裝箱，將得到的包裝箱通過篩選條件進行逐一匹配排除；

(3)通過檢測流程，將潛在的過分割包裝箱識別出來。

5.如權利要求4所述的基于視覺和主動交互的包裝箱分割錯誤的檢測與矯正方法，其特征在于，所述步驟(2)中，篩選條件具體為：

(1)包裝箱的抓取面的法向必須一致；

(2)包裝箱的最小包圍矩形的邊必須有一條長度相同；

(3)包裝箱的最小包圍矩形的某一邊必須臨近，近似共邊。

6.如權利要求1所述的基于視覺和主動交互的包裝箱分割錯誤的檢測與矯正方法，其特征在于，所述步驟三中，錯誤分割判定，具體為：

利用機器人抓手對疑似分割錯誤的箱子進行試抓取，在水平方向上進行一定的移動，同時追蹤已檢測的包裝箱位置，通過前后兩次包裝箱的位置和大小的變化來最終判斷是否存在欠分割和過分割的問題。