[發明專利]開放式無人貨柜的自動監控方法、裝置、電子設備及計算機可讀存儲介質

在審

• 申請號: 201810565616.1
• 申請日: 2018-06-04
• 公開（公告）號: CN108877040A
• 公開（公告）日: 2018-11-23
• 發明（設計）人: 丁超;賈小龍
• 申請（專利權）人: 北京無人店科技有限公司
• 主分類號: G07F11/00
• 分類號: G07F11/00;H04N7/18
• 代理公司: 北京辰權知識產權代理有限公司 11619
• 代理人: 郝雅娟

本申請實施例公開了一種開放式無人貨柜的自動監控方法、裝置、電子設備及計算機可讀存儲介質，該方法包括：獲取對應多個貨道的第一圖像數據；識別所述第一圖像數據中每個貨道中的最后一個商品與圖像傳感器的相對位置信息；基于在先數據和每個貨道中的所述相對位置信息，確定商品數量發生變化的貨道及該貨道商品數量的變化量；根據各個貨道商品數量的變化量、對應商品信息及用戶信息完成商品交易。本申請實施例的技術方案僅依靠低分辨率、低幀率的圖像傳感器以及低運算能力的處理器就能完成無人貨柜的商品狀態的監控，并完成自動支付，在大幅提升用戶體驗的同時可有效降低軟硬件成本。

技術領域

本申請涉及智能零售終端領域，特別涉及一種開放式無人貨柜的自動監控方法、裝置、電子設備及計算機可讀存儲介質。

背景技術

傳統的無人貨柜采取封閉式的結構，用戶在支付前不能接觸商品，支付后由內部的機械裝置將商品推送到取貨口。這種無人貨柜，或稱為自動販賣機，因其結構簡單、成本低廉，已經在各種公共場所有了廣泛的應用。但這種傳統的無人貨柜用戶無法觀察挑選商品，支付后的驗貨、出貨、取貨等步驟機器故障導致交易失敗的風險完全由用戶承擔，用戶體驗不佳。

隨著人工智能技術的發展，越來越多的傳統行業正在使用智能的方法來提升效率和用戶體驗，現有技術中也出現了用戶體驗更舒適的開放式無人貨柜。這種開放式無人貨柜允許消費者只需要打開柜門，抓取并帶走想要的商品，貨柜就能自動完成支付。現有的開放式無人貨柜由商家承擔驗證交易的風險，一般使用基于人工智能的圖像處理技術完成對消費行為的監控，保證取走的商品完成了對應的支付。目前存在的一些技術包括，在柜門處或柜門附近安裝一個或多個圖像傳感器，通過對柜門的以及商品區域進行監控和識別來判定柜門的開關狀態；進一步，通過對柜門處消費者的動作進行監控來識別消費者行為，例如通過對消費者的手勢進行識別，從而判斷消費者是否取走了一件商品；進一步，通過對消費者手部關聯的圖像進行識別，判斷消費者取走了哪件商品。

但是，發明人在實現本申請的過程中發現，現有的開放式無人貨柜的監控壓力較大而效果并不理想。比如，安裝在柜門處的圖像傳感器可能由于角度的問題使得在手部遮擋商品的時候產生誤判，無法識別被取走的商品。又或者，圖像傳感器的幀率有限，在速度極快的情況下也可能造成誤判。此外，對柜門、人手和商品等復雜物體的識別需要非常高的計算復雜度，同時由于實時性的需求，識別模塊無法安裝在云端，因此每個無人貨柜都需要安裝高性能運算模塊，例如GPU模塊，這意味著產品的成本激增。

發明內容

有鑒于此，本申請的主要目的在于提供一種開放式無人貨柜的自動監控方法、裝置、電子設備及計算機可讀存儲介質，以在大幅提升用戶體驗的同時有效降低軟硬件成本。

為達到上述目的，本申請的技術方案是這樣實現的：

在本申請實施例的一個方面，提供了一種開放式無人貨柜的自動監控方法，所述方法包括：

獲取對應多個貨道的第一圖像數據；

識別所述第一圖像數據中每個貨道中的最后一個商品與圖像傳感器的相對位置信息；

基于在先數據和每個貨道中的所述相對位置信息，確定商品數量發生變化的貨道及該貨道商品數量的變化量；

根據各個貨道商品數量的變化量、對應商品信息及用戶信息完成商品交易。

在一些實施例中，所述在先數據包括：預設數據、前次結算數據和在先獲取的第二圖像數據中的至少一種。

在一些實施例中，所述方法還包括：

進入配置模式，所述配置模式下每個貨道中包括至少一個商品；

根據對應多個貨道的第三圖像數據和/或用戶輸入信息，獲得每個貨道中商品與圖像傳感器的相對位置在圖像數據中的映射關系，以及獲得每個貨道中的對應商品信息。