[發明專利]一種基于純視覺的免門禁無人商店結賬方法

在審

• 申請號: 202110130277.6
• 申請日: 2021-01-29
• 公開（公告）號: CN112906759A
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 李治軍;張倩倩
• 申請（專利權）人: 哈爾濱工業大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/00;G06N3/04
• 代理公司: 哈爾濱市陽光惠遠知識產權代理有限公司 23211
• 代理人: 張宏威

本發明是一種基于純視覺的免門禁無人商店結賬方法。本發明涉及人工智能管理技術領域，所述方法具體為：訓練動作判別模型，對于一個場景確定顧客拿、取或者放回的動作；搭建卷積神經網絡模型，對產品圖片進行學習訓練，進行預測分類測試圖片，檢測手中的商品類型；建立商品與顧客的相對關系，選擇離商品最近的顧客作為動作的發起者；對顧客進行人重和人臉識別，確定顧客身份并結賬。本發明解決現有的購物商店需要大量的人力來進行結賬的問題，并且改進現有技術的缺陷，獲得選址靈活，能夠提高銷售效率和增加營業時間，并且所需的財力也大大減少的技術效果。

技術領域

本發明涉及人工智能管理技術領域，是一種基于純視覺的免門禁無人商店結賬方法。

背景技術

目前，一般商店都會有售貨員或者收銀員，通過售貨員或者收銀員來結算用戶購買的商品。然而，當購買商品的用戶數量較多時，往往都需要排隊，以至于用需要花費較長的時間結賬，此外，還需提供售貨員或者收銀員的人工成本。

因此，為了解決上述問題，現有技術中出現了無人商店，它選址靈活，能夠提高銷售效率和增加營業時間。目前而言，無人值守售貨盒子一般采用商品粘貼RFID標簽作為掃描標識，然而粘貼RFID有幾個缺點:(1)使用RFID成本極高，商品粘貼RFID需要人工處理，同時要支RFID標簽識別，需要RFID發射器、專用讀取機、編碼器、RFID天線等設置，加上RFID標簽本身也需要成本；(2)不能防偽、易受串讀被動讀干擾；(3)不能用于金屬及帶水份外殼。因此，需要提供一種無人商店結賬方法解決上述問題。

而且，現有的無人商店系統都需要在入口或者出口處設立門禁，用戶在進入或者離開商店的時候需要在門禁處等待一段時間進行人臉識別，人臉識別成功顧客才能進入商店進行購物，門口設立門禁增加了硬件裝置需要更多的財力，同時耗費了顧客的時間。

現有的自動結賬方法是基于商店設置了單獨的結賬區域的前提下提出的，無人商店設有結賬區域，結賬區域設置了第一出口和第二出口。該方法包括：在檢測到第一出口的預設區域內存在用戶的感應信號時，獲取結賬區域的第一區域圖像；根據第一區域圖像，判斷結賬區域內是否有人；如果沒有人，控制第一出口的門開啟，并且獲取結賬區域的第二區域圖像；根據第二區域圖像，判斷結賬區域內是否只有一位用戶；如果結賬區域內只有一位用戶，并且檢測到結賬區域存在商品時，控制第一出口的門關閉，獲取用戶的面部特征，并且根據面部特征獲取用戶的賬號，以及獲取用戶選購的商品信息和其對應的價格；根據價格從用戶的賬號中扣除相應的金額，并且控制第二出口的門開啟。

現有的自動結賬方法在建立商店的時候需要設置結賬區域和兩個出口，增加了建立商店的復雜度，需要投入更多的資金。同時，用戶在結賬出門的時候需要等待系統的用戶感應檢測和面部識別，耗費了用戶的時間而且需要耗費更多的財力購買硬件裝置。

同時，這種自動結賬方法結合了攝像頭、射頻讀寫設備、各種傳感器等硬件裝置，大大增加了財力和人力消耗。

發明內容

本發明解決現有的購物商店需要大量的人力來進行結賬的問題，本發明提供了一種基于純視覺的免門禁無人商店結賬方法，本發明提供了以下技術方案：

一種基于純視覺的免門禁無人商店結賬方法，包括以下步驟：

步驟1：訓練動作判別模型，對于一個場景確定顧客拿、取或者放回的動作；

步驟2：搭建卷積神經網絡模型，對產品圖片進行學習訓練，進行預測分類測試圖片，檢測手中的商品類型；

步驟3：建立商品與顧客的相對關系，選擇離商品最近的顧客作為動作的發起者；

步驟4：對顧客進行人重和人臉識別，確定顧客身份并結賬。

優選地，所述步驟1具體為：