[發明專利]一種基于相機圖像拼接的立體貨架視覺盤點方法和系統

有效

• 申請號: 201910294776.1
• 申請日: 2019-04-12
• 公開（公告）號: CN110120010B
• 公開（公告）日: 2023-02-07
• 發明（設計）人: 馮悅鳴;呂勤;朱凱元;陸棟;丁一峰;李巖;周強;朱偉;張成威;盧迪
• 申請（專利權）人: 嘉興恒創電力集團有限公司博創物資分公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06V10/56;G06V10/75;G06Q10/08;G06T5/50;G06T7/33;G06T7/55
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 楊天嬌

1.一種基于相機圖像拼接的立體貨架視覺盤點方法，其特征在于，所述的基于相機圖像拼接的立體貨架視覺盤點方法，包括：

控制深度相機拍攝立體貨架，得到多個指定位置不同角度的彩色圖像和深度圖像；

提取同一位置不同角度的彩色圖像中的特征點，根據提取的特征點將同一位置不同角度的彩色圖像進行融合，得到每一位置的盤點圖像；

根據所述深度圖像生成三維點云，在對三維點云進行濾波后，將同一位置的不同角度的深度圖像對應的三維點云進行拼接，得到每一位置的盤點三維信息；

對預設的貨物的彩色圖像和所述盤點圖像進行特征點提取，并將兩者提取的特征點進行匹配，得到圖像比對結果；同時對預設的貨物的三維信息和所述盤點三維信息進行匹配，得到三維信息比對結果；綜合圖像比對結果和三維信息比對結果，得到指定位置的貨物是否發生改變的盤點結果。

2.如權利要求1所述的基于相機圖像拼接的立體貨架視覺盤點方法，其特征在于，所述利用深度相機拍攝立體貨架，得到多個指定位置不同角度的彩色圖像和深度圖像，包括：

獲取本次立體貨架視覺盤點的盤點范圍，該盤點范圍內具有多個貨框；

控制深度相機拍攝貨框1/3深度處，且拍攝角度為45°、90°和135°的彩色圖像和深度圖像；并繼續拍攝當前貨框2/3深度處，且拍攝角度為135°、90°和45°的彩色圖像和深度圖像；

依次拍攝各貨框，得到盤點范圍內的所有彩色圖像和深度圖像。

3.如權利要求1所述的基于相機圖像拼接的立體貨架視覺盤點方法，其特征在于，所述提取同一位置不同角度的彩色圖像中的特征點，包括：

采用SURF算子分別提取同一位置不同角度的彩色圖像中的特征點，在特征點提取時，首先計算積分圖像，積分圖像中像素(x,y)的值為原圖的左上角位置至像素(x,y)所在位置之間的灰度值之和；

其次對像素進行濾波，并得到Hessian矩陣為：

其中，σ為高斯濾波標準差系數，L_xy、L_yx、L_yy、L_xx為灰度圖像I(x,y)的二階偏微分與高斯函數在像素點(x,y)處的卷積；

根據Hessian矩陣得到同一位置不同角度的彩色圖像各自的特征點。