[發明專利]基于視覺和主動交互的包裝箱分割錯誤的檢測與矯正方法

有效

• 申請號: 201811443145.3
• 申請日: 2018-11-29
• 公開（公告）號: CN109658388B
• 公開（公告）日: 2021-03-30
• 發明（設計）人: 黃金;鄭林濤
• 申請（專利權）人: 湖南視比特機器人有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/13;G06T7/187;G06T7/564;G06T7/60;G06T7/70
• 代理公司: 重慶市信立達專利代理事務所(普通合伙) 50230
• 代理人: 包曉靜

本發明屬于物流技術領域，公開了一種基于視覺和主動交互的包裝箱分割錯誤的檢測與矯正方法；基于目標檢測模型結果的區域提取；基于二維視覺算法的疑似錯誤分割檢測；基于主動交互式策略的錯誤分割判定；錯誤分割的矯正及正確抓取位置計算；基于二維視覺算法，對目標檢測模型預測的結果可能出現的欠分割和過分割問題進行預判，引導機器人的抓手對目標進行試抓取，同時追蹤箱體的大小和位置變化，檢測對比是否與先驗的分割結果吻合，如若吻合則繼續完成對目標的抓取，否則實施對錯誤分割的矯正。本發明基于視覺的交互式策略能夠對分割錯誤的包裝箱進行有效地矯正，避免包裝箱摔毀的危險，極大地提高機器人對包裝箱準確抓取的魯棒性。

技術領域

本發明屬于物流技術領域，尤其涉及基于視覺和主動交互的包裝箱分割錯誤的檢測與矯正方法。

背景技術

目前，業內常用的現有技術是這樣的：

在現代物流行業中，包裝箱的拆跺分揀是一項繁重而重復的工作。不少機器人公司試圖用機器人取代人完成這一部分任務。由機器人替代人來進行拆跺分揀的首要問題在于：如何對密集的包裝箱進行準確的分割和識別，從而引導機器人進行精確地抓取。實際中包裝箱的尺寸變化范圍很大，擺放的角度和姿態不定，包裝箱之間間隙很小，這些因素導致對包裝箱的分割失敗率很高。而現有的對包裝箱最先進的分割和識別方法，是基于深度學習的目標檢測模型。目標檢測模型通過海量數據的訓練，具有對包裝箱強大的識別和分割能力。盡管目前最好的目標檢測模型針對包裝箱的拆跺分揀問題有著很不錯的效果，但在實際中依然存在兩個問題：一是箱子上紋理圖案出現貫穿箱體的分割線時，容易導致網絡預測的過分割現象，即將一個箱子識別成多個箱子；二是箱子之間擺放密集，箱體之間間隙過小時，會使得箱子彼此分界不明，容易導致網絡預測的欠分割現象，即將多個箱子識別成一個箱子。包裝箱的過分割和欠分割問題都會導致機器人的抓取失敗，嚴重時甚至可能會導致貨物的摔毀。

綜上所述，現有技術存在的問題是：

現有技術中箱子上紋理圖案出現貫穿箱體的分割線時，容易導致網絡預測的過分割現象，即將一個箱子識別成多個箱子；箱子之間擺放密集，箱體之間間隙過小時，會使得箱子彼此分界不明，容易導致網絡預測的欠分割現象，即將多個箱子識別成一個箱子。包裝箱的過分割和欠分割問題都會導致機器人的抓取失敗，嚴重時甚至可能會導致貨物的摔毀。

解決上述技術問題的難度和意義：

難度：物流包裝箱拆跺分揀場景比較復雜，其物品過于密集，往往是幾十個箱子緊密堆疊，區分度較低；箱子紋理圖案千差萬別,紋理和箱子邊緣容易混淆，難以辨識。以上因素導致對拆跺場景的箱子準確分割難度很大，失敗率較高。意義：基于深度學習的箱子分割結果存在的主要問題為箱子的欠分割和過分割，解決這兩個問題能夠為箱子準確分割提供有力保證，也是機器人精確抓取的基礎，能夠為物流的自動裝卸技術提供基本保障。

發明內容

針對現有技術存在的問題，本發明提供了基于視覺和主動交互的包裝箱分割錯誤的檢測與矯正方法。

本發明是這樣實現的，基于視覺和主動交互的包裝箱分割錯誤的檢測與矯正方法，具體包括以下步驟：

步驟一：基于目標檢測模型結果的區域提取；根據目標檢測模型的預測得到對應包裝箱的掩碼結果，取出對應的圖片像素區域；將對應的掩碼區域轉化成三維點云；采用隨機抽樣一致算法對包裝箱的抓取平面進行提取，將屬于平面的局內點作為最終有效點集，采用計算點集的最小面積包圍矩形的算法，估算出包裝箱抓取頂面的矩形邊界；

步驟二：基于二維視覺算法的疑似錯誤分割檢測：根據已經提取出包裝箱抓取面矩形包圍框，將對應的包裝箱從RGB圖像中分割出來，進行疑似錯誤分割檢測；

步驟三：基于主動交互式策略的錯誤分割判定：采用一種機器人主動交互式的方式，對疑似錯誤的分割進行逐一認定；