[發(fā)明專利]一種托盤紙箱垛型實時檢測方法

有效

• 申請?zhí)枺?/td>: 201711342578.5
• 申請日: 2017-12-14
• 公開（公告）號: CN107945192B
• 公開（公告）日: 2021-10-22
• 發(fā)明（設(shè)計）人: 李天劍;劉詩晗;金秋;黃民
• 申請（專利權(quán)）人: 北京信息科技大學(xué)
• 主分類號: G06T7/12
• 分類號: G06T7/12;G06T7/136;G06T7/181;G06T7/90
• 代理公司: 北京遠創(chuàng)理想知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11513
• 代理人: 張素妍

1.一種托盤紙箱垛型實時檢測方法，其特征在于包括以下步驟：

1)由深度相機和彩色相機獲取到垛內(nèi)所有箱子的深度圖像和RGB圖像，并對深度圖像進行預(yù)處理，得到一個只包含箱子深度映射出來的二值圖像；

2)采用遞進方式找出箱垛最上面一層箱子的灰度閾值，進行二值化得到一個只包含最上層紙箱的最外層輪廓；

3)提取邊緣輪廓，通過opencv中的邊緣提取并且利用二值圖像得到直線的邊緣輪廓，再將邊緣輪廓的所有坐標提取出來，得到最上層紙箱的邊緣點；

4)把深度圖像上面的邊緣點的坐標映射到RGB圖像上，并進行形態(tài)學(xué)處理；

5)對坐標映射得到的RGB圖像進行分割處理，獲得RGB圖像上最上層紙箱子整體區(qū)域的所有像素點信息，從而得到箱子擺放的垛型；

6)根據(jù)箱子的垛型和箱子擺放的輪廓得到每個箱子4個角的坐標，再由中心點定理計算出每個箱子的中心坐標，完成對托盤垛型的實時檢測；

所述步驟4)中，具體映射過程如下：

4.1)提取邊緣輪廓：在二值圖像上，通過閾值的變化，利用二值圖像得到箱子的邊緣輪廓，再將邊緣輪廓的坐標一個一個的提取出來，得到最上層紙箱的邊緣點；

4.2)建立彩色空間坐標的映射集，大小是424*512個，把深度圖像的每個點在RGB空間里面的對應(yīng)位置信息都存在的彩色空間坐標映射集中；

4.3)提取RGB輪廓中的感興區(qū)域，首先由得到的邊緣輪廓，通過得到由深度圖像映射到RGB圖像的輪廓線的內(nèi)邊緣像素點和外邊緣像素點，采用內(nèi)邊像素點的坐標，對全圖做輪廓內(nèi)外點判斷，提取在輪廓內(nèi)的所有點坐標，再通過這些點坐標去RGB采集的原始數(shù)據(jù)中找到相應(yīng)的彩色通道的坐標值，再對其進行復(fù)制，映射。

2.如權(quán)利要求1所述的一種托盤紙箱垛型實時檢測方法，其特征在于：所述步驟2)中，遞進找閾值過程如下：采用初始設(shè)定閾值進行二值化圖像，并判斷二值化之后的像素為255的像素數(shù)量是否大于預(yù)先設(shè)定數(shù)量，如果沒有則對深度圖像再進行一次二值化；以此類推，向下遞進搜索，開始遞增灰度閾值，不斷地取閾值判斷，如果在當前灰度閾值下發(fā)現(xiàn)最上層紙箱的輪廓，則停止遞進，當前遞進出來的灰度閾值則為最終用于提取箱子輪廓的灰度閾值。

3.如權(quán)利要求1所述的一種托盤紙箱垛型實時檢測方法，其特征在于：所述步驟5)中，彩色圖像分割步驟如下：

5.1)對由坐標映射得到的只含有垛上紙箱的彩色圖像進行預(yù)處理，使彩色圖像灰度化，并且用平滑的方法去掉圖像區(qū)域邊上的毛刺部分；

5.2)用Canny邊緣檢測提取紙箱邊緣像素，并進行膨脹處理，將膨脹后的圖像作為紙箱之間分割的依據(jù)來分割紙箱區(qū)域，之后再二值化紙箱區(qū)域；

5.3)此時得到的紙箱區(qū)域為白色區(qū)域，方便提取紙箱輪廓，設(shè)置閾值去除輪廓干擾，并依次采用非極大值抑制方法和基于長寬比統(tǒng)計的方法，得到的邊框通過計算中點即為紙箱的抓取點。