[發明專利]一種托盤紙箱垛型實時檢測方法

有效

• 申請號: 201711342578.5
• 申請日: 2017-12-14
• 公開（公告）號: CN107945192B
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 李天劍;劉詩晗;金秋;黃民
• 申請（專利權）人: 北京信息科技大學
• 主分類號: G06T7/12
• 分類號: G06T7/12;G06T7/136;G06T7/181;G06T7/90
• 代理公司: 北京遠創理想知識產權代理事務所(普通合伙) 11513
• 代理人: 張素妍

本發明涉及一種托盤紙箱垛型實時檢測方法，其步驟：由深度相機和彩色相機獲取到垛內所有箱子的深度圖像和RGB圖像，并對深度圖像進行預處理，得到一個只包含箱子深度映射出來的二值圖像；采用遞進方式找出箱垛最上面一層箱子的灰度閾值，進行二值化得到一個只包含最上層紙箱的最外層輪廓；提取邊緣輪廓，并利用二值圖像得到直線的邊緣輪廓，提取邊緣輪廓的所有坐標得到最上層紙箱的邊緣點；把深度圖像上面的邊緣點的坐標映射到RGB圖像上；對坐標映射得到的RGB圖像進行分割處理，獲得RGB圖像上最上層紙箱子整體區域的所有像素點信息；根據箱子的垛型和箱子擺放的輪廓得到每個箱子4個角的坐標，再由中心點定理計算出每個箱子的中心坐標，完成對托盤垛型的實時檢測。

技術領域

本發明涉及一種物流領域垛型檢測方法，特別是關于一種托盤紙箱垛型實時檢測方法。

背景技術

在工業4.0的大時代和互聯網大時代下，越來越多的智能產品也在不斷地增長，物流就越來越多的成為了人們生活的主題。京東、阿里巴巴以及亞馬遜等一個一個的物流公司也逐漸的出現。但由于中國的國情和人口的因素，物流的壓力越來越大。所以，無人倉庫的概念也由此產生，通過人工智能和視覺相結合，最終實現即使倉庫里沒有工業，也能實現倉庫的快速分揀和裝運。

目前，關于垛形的檢測方法還不是非常成熟，大多都是人工拆垛，費時費力。而且和現在的快速物流聯動性不強，因為垛形的樣式實在太多，而且堆放方式非常靈活。機器視覺在識別剁形上往往存在一個很大的問題就是倉庫為了節約空間，堆垛的箱子都是緊密擺放的，中間縫隙非常小，難以完成垛型的自動識別。

發明內容

針對上述問題，本發明的目的是提供一種托盤紙箱垛型實時檢測方法，該方法用于實時測量堆垛箱的頂層分布，為機械手實現自動拆垛提供實時數據，進而實現由操作機械手的運動完成無人倉庫的拆垛。

為實現上述目的，本發明采取以下技術方案：一種托盤紙箱垛型實時檢測方法，其特征在于包括以下步驟：1)由深度相機和彩色相機獲取到垛內所有箱子的深度圖像和RGB圖像，并對深度圖像進行預處理，得到一個只包含箱子深度映射出來的二值圖像；2)采用遞進方式找出箱垛最上面一層箱子的灰度閾值，進行二值化得到一個只包含最上層紙箱的最外層輪廓；3)提取邊緣輪廓，通過opencv中的邊緣提取并且利用二值圖像得到直線的邊緣輪廓，再將邊緣輪廓的所有坐標提取出來，得到最上層紙箱的邊緣點；4)把深度圖像上面的邊緣點的坐標映射到RGB圖像上，并進行形態學處理；5)對坐標映射得到的RGB圖像進行分割處理，獲得RGB圖像上最上層紙箱子整體區域的所有像素點信息，從而得到箱子擺放的垛型；6)根據箱子的垛型和箱子擺放的輪廓得到每個箱子4個角的坐標，再由中心點定理計算出每個箱子的中心坐標，完成對托盤垛型的實時檢測。

進一步，所述步驟2)中，遞進找閾值過程如下：采用初始設定閾值進行二值化圖像，并判斷二值化之后的像素為255的像素數量是否大于預先設定數量，如果沒有則對深度圖像再進行一次二值化；以此類推，向下遞進搜索，開始遞增灰度閾值，不斷地取閾值判斷，如果在當前灰度閾值下發現最上層紙箱的輪廓，則停止遞進，當前遞進出來的灰度閾值則為最終用于提取箱子輪廓的灰度閾值。

進一步，所述步驟4)中，具體映射過程如下：4.1)提取邊緣輪廓：在二值圖像上，通過閾值的變化，利用二值圖像得到箱子的邊緣輪廓，再將邊緣輪廓的坐標一個一個的提取出來，得到最上層紙箱的邊緣點；4.2)建立彩色空間坐標的映射集，大小是424*512個，把深度圖像的每個點在RGB空間里面的對應位置信息都存在的彩色空間坐標映射集中；4.3)提取RGB輪廓中的感興區域，首先由得到的邊緣輪廓，通過得到由深度圖像映射到RGB圖像的輪廓線的內邊緣像素點和外邊緣像素點，采用內邊像素點的坐標，對全圖做輪廓內外點判斷，提取在輪廓內的所有點坐標，再通過這些點坐標去RGB采集的原始數據中找到相應的彩色通道的坐標值，再對其進行復制，映射。