[發明專利]一種基于相機圖像拼接的立體貨架視覺盤點方法和系統

有效

• 申請號: 201910294776.1
• 申請日: 2019-04-12
• 公開（公告）號: CN110120010B
• 公開（公告）日: 2023-02-07
• 發明（設計）人: 馮悅鳴;呂勤;朱凱元;陸棟;丁一峰;李巖;周強;朱偉;張成威;盧迪
• 申請（專利權）人: 嘉興恒創電力集團有限公司博創物資分公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06V10/56;G06V10/75;G06Q10/08;G06T5/50;G06T7/33;G06T7/55
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 楊天嬌

本申請公開了一種基于相機圖像拼接的立體貨架視覺盤點方法和系統，所述的基于相機圖像拼接的立體貨架視覺盤點方法，包括：控制深度相機拍攝立體貨架，得到多個指定位置不同角度的彩色圖像和深度圖像；提取同一位置不同角度的彩色圖像中的特征點，根據提取的特征點將同一位置不同角度的彩色圖像進行融合，得到每一位置的盤點圖像；根據所述深度圖像生成三維點云，在對三維點云進行濾波后，將同一位置的不同角度的深度圖像對應的三維點云進行拼接，得到每一位置的盤點三維信息；根據盤點圖像和盤點三維信息，得到指定位置的貨物是否發生改變的盤點結果。本申請結合圖像對比和三維信息對比，有效提高視覺盤點的全面性和準確性。

技術領域

本申請屬于倉儲物流領域，具體涉及一種基于相機圖像拼接的立體貨架視覺盤點方法和系統。

背景技術

倉儲貨物盤點是倉儲物流作業中的重要環節：通過對庫存商品的實際數量進行清查、清點的作業，對倉庫現有物品的實際數量與保管賬上記錄的數量相核對，以便準確地掌握庫存數量。自動化高密度立體貨架的應用使得貨物存儲的空間密度越來越高。人工盤點的方式需要將每樣貨物從貨架中取出至出口處進行專人盤點，不僅需要耗費時間、人力，頻繁使用堆垛機存取貨物也會造成設備的損耗。

視覺盤點的方式就是采用相機對貨物圖像進行采集，通過機器視覺算法對圖像內容進行認知與識別，并與已存儲的數據進行比對，獲得貨物數量變化值。

目前，基于計算機視覺的盤點技術主要采用普通彩色相機在貨位側面拍攝，當貨位采用貨框放置貨物時，由于貨框的遮擋，難以拍攝到貨物；且僅采用彩色圖像信息進行盤點，缺少貨物的三維信息，在貨物數量判斷上容易存在誤差。

發明內容

本申請的目的在于提供一種基于相機圖像拼接的立體貨架視覺盤點方法和系統，結合圖像對比和三維信息對比，有效提高視覺盤點的全面性和準確性。

為實現上述目的，本申請所采取的技術方案為：

一種基于相機圖像拼接的立體貨架視覺盤點方法，所述的基于相機圖像拼接的立體貨架視覺盤點方法，包括：

控制深度相機拍攝立體貨架，得到多個指定位置不同角度的彩色圖像和深度圖像；

提取同一位置不同角度的彩色圖像中的特征點，根據提取的特征點將同一位置不同角度的彩色圖像進行融合，得到每一位置的盤點圖像；

根據所述深度圖像生成三維點云，在對三維點云進行濾波后，將同一位置的不同角度的深度圖像對應的三維點云進行拼接，得到每一位置的盤點三維信息；

對預設的貨物的彩色圖像和所述盤點圖像進行特征點提取，并將兩者提取的特征點進行匹配，得到圖像比對結果；同時對預設的貨物的三維信息和所述盤點三維信息進行匹配，得到三維信息比對結果；綜合圖像比對結果和三維信息比對結果，得到指定位置的貨物是否發生改變的盤點結果。

作為優選，所述利用深度相機拍攝立體貨架，得到多個指定位置不同角度的彩色圖像和深度圖像，包括：

獲取本次立體貨架視覺盤點的盤點范圍，該盤點范圍內具有多個貨框；

控制深度相機拍攝貨框1/3深度處，且拍攝角度為45°、90°和135°的彩色圖像和深度圖像；并繼續拍攝當前貨框2/3深度處，且拍攝角度為135°、90°和45°的彩色圖像和深度圖像；

依次拍攝各貨框，得到盤點范圍內的所有彩色圖像和深度圖像。

作為優選，所述提取同一位置不同角度的彩色圖像中的特征點，包括：

采用SURF算子分別提取同一位置不同角度的彩色圖像中的特征點，在特征點提取時，首先計算積分圖像，積分圖像中像素(x,y)的值為原圖的左上角位置至像素(x,y)所在位置之間的灰度值之和；

其次對像素進行濾波，并得到Hessian矩陣為：