[發(fā)明專利]基于圖像處理技術(shù)的冷柜貨架商品統(tǒng)計方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201910309036.0
• 申請日: 2019-04-17
• 公開（公告）號: CN110033452B
• 公開（公告）日: 2021-06-08
• 發(fā)明（設(shè)計）人: 王娜娜;董振興;楊敏;張二樂;張海波
• 申請（專利權(quán)）人: 北京云量互動科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T5/00;G06T5/50;G06T7/136
• 代理公司: 北京晟睿智杰知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11603
• 代理人: 于淼

1.一種基于圖像處理技術(shù)的冷柜貨架商品統(tǒng)計方法，其特征在于，包括：

通過冷柜上安裝的定位模塊自動獲取所述冷柜的位置信息，并發(fā)送給云端服務(wù)器；

所述冷柜的柜門包括靠近所述冷柜內(nèi)部的第一平面和遠(yuǎn)離所述冷柜內(nèi)部的第二平面，在所述第一平面上遠(yuǎn)離旋轉(zhuǎn)軸的一側(cè)安裝與所述第一平面角度為θ的第一攝像頭和第二攝像頭，所述第一攝像頭和第二攝像頭包括攝像座，所述攝像座靠近所述第一平面的面為底面，θ指的是所述攝像座的底面與所述第一平面靠近所述冷柜底面一側(cè)的夾角，43.86°≤θ≤56.81°，所述柜門的頂端與所述冷柜底面之間的垂直距離為H，所述第一攝像頭與所述冷柜底面之間的垂直距離為1/3*H，所述第二攝像頭與所述冷柜底面之間的垂直距離為1/2*H；

當(dāng)所述柜門打開的角度為β時，通過串口模塊觸發(fā)所述第一攝像頭采集一張第一圖像，觸發(fā)所述第二攝像頭采集一張第二圖像，21.96°≤β≤33.96°；

終端控制器對所述第一圖像和第二圖像進(jìn)行拼接，形成第三圖像，將所述第三圖像傳輸?shù)剿鲈贫朔?wù)器，所述冷柜內(nèi)部包括多個置物隔層，所述置物隔層中擺放有至少一排商品，靠近所述柜門的排為第一排，所述第三圖像包括各所述置物隔層中位于所述第一排的商品圖像；

根據(jù)圓心旋轉(zhuǎn)不變性，按照所述置物隔層在旋轉(zhuǎn)軸上的像素點區(qū)域?qū)⑺龅谌龍D像進(jìn)行分割，得到與各所述置物隔層對應(yīng)的多個第四圖像，所述第三圖像為多個所述第四圖像的組合；

通過分割算法對各所述第四圖像進(jìn)行分割，計算得到冷柜中各所述置物隔層中所述第一排所擺放的第一商品總量，具體為：

對所述第四圖像平滑去反光，形成第一灰度圖，對所述第一灰度圖提取特征點坐標(biāo)；以所述特征點坐標(biāo)為圓心，以50個像素點之間的間隔為半徑，在一張全黑的空白底圖上畫圓，得到第二灰度圖；對所述第二灰度圖的數(shù)據(jù)進(jìn)行歸一化處理，得到第二灰度圖的灰度值，根據(jù)所述灰度值在垂直所述旋轉(zhuǎn)軸的平面上的投影，得到投影曲線；將所述投影曲線進(jìn)行數(shù)據(jù)翻轉(zhuǎn)和曲線平滑后，進(jìn)行閾值分割，計算得到冷柜中與各所述第四圖像對應(yīng)的所述置物隔層中所述第一排所擺放的第一商品總量；

對所述冷柜中的所有置物隔層對應(yīng)的第一商品總量求和，得到所述冷柜中所述第一排所擺放的第二商品總量，將所述第二商品總量存入數(shù)據(jù)庫；

云端服務(wù)器對接收到的冷柜位置信息進(jìn)行核對，具體為：若所述冷柜的位置與所述云端服務(wù)器存儲的冷柜的位置之間的距離大于預(yù)定距離或所述云端服務(wù)器超過預(yù)定時間沒有接收到所述冷柜的位置信息，則進(jìn)行報警；若所述冷柜的位置與所述云端服務(wù)器存儲的冷柜的位置之間的距離小于等于預(yù)定距離，則通過顯示設(shè)備展示所述冷柜中的第二商品總量。

2.根據(jù)權(quán)利要求1所述的基于圖像處理技術(shù)的冷柜貨架商品統(tǒng)計方法，其特征在于，所述定位模塊，具體為：GPS+LBS定位模塊。

3.根據(jù)權(quán)利要求1所述的基于圖像處理技術(shù)的冷柜貨架商品統(tǒng)計方法，其特征在于，所述將所述第一圖像和第二圖像進(jìn)行拼接，具體為：依據(jù)圓心旋轉(zhuǎn)不變性，對所述第一圖像和第二圖像進(jìn)行仿射變換，所述仿射變換指的是二維坐標(biāo)(x，y)到二維坐標(biāo)(u，v)的線性變換，數(shù)學(xué)表達(dá)式為：

對經(jīng)過所述仿射變換的所述第一圖像和第二圖像進(jìn)行裁剪，并對裁剪后的所述第一圖像和所述第二圖像進(jìn)行拼接。

4.根據(jù)權(quán)利要求1所述的基于圖像處理技術(shù)的冷柜貨架商品統(tǒng)計方法，其特征在于，對所述第一灰度圖提取特征點坐標(biāo)，具體為：使用基于二進(jìn)制特征描述算法BRISK匹配特征點，并導(dǎo)出特征點坐標(biāo)。

5.根據(jù)權(quán)利要求1所述的基于圖像處理技術(shù)的冷柜貨架商品統(tǒng)計方法，其特征在于，所述進(jìn)行閾值分割，具體為：曲線平滑后，設(shè)定波峰之間的最小間隔為180個像素點，分割閾值為所述波峰中的最高點減去2500。