[發明專利]貨架布局檢測方法、裝置及計算機可讀存儲介質

在審

• 申請號: 202110261769.9
• 申請日: 2021-03-10
• 公開（公告）號: CN112883955A
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 羅鳳鳴;李勇基;杜晨光
• 申請（專利權）人: 洛倫茲(北京)科技有限公司
• 主分類號: G06K9/20
• 分類號: G06K9/20;G06K9/46;G06K9/62;G06Q30/06
• 代理公司: 北京薈英捷創知識產權代理事務所(普通合伙) 11726
• 代理人: 張陽

本發明提供了一種貨架布局檢測方法、裝置及計算機可讀存儲介質，涉及圖像處理技術領域，上述貨架布局檢測方法包括：獲取圖像傳感器采集的目標貨架的目標圖像；其中，目標圖像包括深度圖像和RGB圖像；基于深度圖像中的深度信息對目標圖像中的目標貨架進行貨架分層，得到貨架分層結果；基于貨架分層結果對目標貨架進行價簽檢測，得到價簽檢測結果；基于貨架分層結果及價簽檢測結果確定目標貨架的貨架布局。本發明能夠提升價簽位置檢測精度，且上述貨架布局檢測無需使用機器學習或深度學習進行商品識別，計算復雜度低，提升了貨架布局檢測效率，可以實現對貨架布局的實時檢測。

技術領域

本發明涉及圖像處理技術領域，尤其是涉及一種貨架布局檢測方法、裝置及計算機可讀存儲介質。

背景技術

隨著新零售模式的發展，零售開始注重智能化和數字化經營，傳統線下零售商缺乏顧客挑選商品的過程數據。目前，通過搭載各種傳感器自主、智能地檢測顧客與貨架商品的交互行為，可以幫助零售企業精細運營，分析出消費者的喜好，精確定位銷售商品，優化品類結構，提升銷售額，而獲取貨架布局是跟蹤觀察、記錄及分析顧客購物過程的必經過程。現有的貨架布局檢測技術，通常是基于攝像頭獲取的彩色正視圖像，通過檢測直線或線段，并結合機器學習或深度學習識別商品類別，實現貨架商品檢測和定位，需要昂貴的計算平臺和大量的SKU作訓練，實時性差。因此，現有的貨架布局檢測技術還存在計算復雜度高導致檢測實時性較差的問題。

發明內容

有鑒于此，本發明的目的在于提供一種貨架布局檢測方法、裝置及計算機可讀存儲介質，能夠提升價簽位置檢測精度，且上述貨架布局檢測無需使用機器學習或深度學習進行商品識別，計算復雜度低，提升了貨架布局檢測效率，可以實現對貨架布局的實時檢測。

為了實現上述目的，本發明實施例采用的技術方案如下：

第一方面，本發明實施例提供了一種貨架布局檢測方法，包括：獲取圖像傳感器采集的目標貨架的目標圖像；其中，所述目標圖像包括深度圖像和RGB圖像；基于所述深度圖像中的深度信息對所述目標圖像中的目標貨架進行貨架分層，得到貨架分層結果；基于所述貨架分層結果對所述目標貨架進行價簽檢測，得到價簽檢測結果；基于所述貨架分層結果及所述價簽檢測結果確定所述目標貨架的貨架布局。

進一步，本發明實施例提供了第一方面的第一種可能的實施方式，其中，所述目標圖像還包括IR圖，所述基于所述深度圖像中的深度信息對所述目標圖像中的目標貨架進行貨架分層，得到貨架分層結果的步驟，包括：獲取所述圖像傳感器的內參，基于所述圖像傳感器的內參對所述深度圖像進行深度值校正；對深度值校正后的所述深度圖像、所述RGB圖像及所述IR圖中的目標貨架進行形狀校正，得到校正深度圖像、校正RGB圖像及校正IR圖；基于所述校正深度圖像、校正RGB圖像及校正IR圖對所述目標貨架進行貨架分層，得到貨架分層結果。

進一步，本發明實施例提供了第一方面的第二種可能的實施方式，其中，所述基于所述圖像傳感器的內參對所述深度圖像進行深度值校正的步驟，包括：基于所述圖像傳感器的內參及所述深度圖像中各像素點的深度值，將所述深度圖像中的各像素點轉換為點云數據；基于所述點云數據確定地面圖像對應的點云數據所在平面的法向量，得到地面法向量；基于所述地面法向量及標準坐標系確定點云數據的旋轉軸和旋轉角，根據所述旋轉軸和所述旋轉角確定羅德里格旋轉矩陣；基于所述羅德里格旋轉矩陣確定所述點云數據在所述標準坐標系下的點云坐標，基于所述點云坐標確定所述深度圖像各像素點校正后的深度值。

進一步，本發明實施例提供了第一方面的第三種可能的實施方式，其中，所述圖像傳感器的光軸與所述目標貨架成預設角度；所述對深度值校正后的所述深度圖像、所述RGB圖像及所述IR圖中的目標貨架進行形狀校正，得到校正深度圖像、校正RGB圖像及校正IR圖的步驟，包括：獲取深度值校正后的所述深度圖像、所述RGB圖像及所述IR圖中所述目標貨架的各角點坐標；基于各所述角點坐標確定所述目標貨架的區域圖像，基于透視變換將所述區域圖像中的目標貨架由斜視圖像校正為正視圖像，得到校正深度圖像、校正RGB圖像及校正IR圖。