[發明專利]一種基于純視覺的免門禁無人商店結賬方法

在審

• 申請號: 202110130277.6
• 申請日: 2021-01-29
• 公開（公告）號: CN112906759A
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 李治軍;張倩倩
• 申請（專利權）人: 哈爾濱工業大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/00;G06N3/04
• 代理公司: 哈爾濱市陽光惠遠知識產權代理有限公司 23211
• 代理人: 張宏威

1.一種基于純視覺的免門禁無人商店結賬方法，其特征是：包括以下步驟：

步驟1：訓練動作判別模型，對于一個場景確定顧客拿、取或者放回的動作；

步驟2：搭建卷積神經網絡模型，對產品圖片進行學習訓練，進行預測分類測試圖片，檢測手中的商品類型；

步驟3：建立商品與顧客的相對關系，選擇離商品最近的顧客作為動作的發起者；

步驟4：對顧客進行人重和人臉識別，確定顧客身份并結賬。

2.根據權利要求1所述的一種基于純視覺的免門禁無人商店結賬方法，其特征是：

所述步驟1具體為：

步驟1.1：訓練一個動作判別模型，從攝像頭錄取的視頻中獲得連續的RGB視頻幀流和光流信息，借助神經網絡來提取特征，通過提取的特征來檢測動作，對視頻的每一幀進行判斷，是否存在拿取放回動作，發生這一動作的幀記為關鍵幀；

步驟1.2：對于一個場景，分別確定拿取或放回的關鍵幀的時間戳，將時間戳集合起來作為整個場景的時間戳，從這12個視頻中都取出這些時間戳臨近的幀，前取3幀，后取10幀；

所有的時間戳代表找出的拿取或放回的動作個數，同一個時間戳分別在12個視頻中前取3幀，后取10幀檢測手中拿的商品。

3.根據權利要求2所述的一種基于純視覺的免門禁無人商店結賬方法，其特征是：對拿取還是放回進行判斷，關鍵幀前面幾幀手中有商品，之后幾幀手中沒有商品即為放回操作；關鍵幀前面幾幀手中沒有商品，之后幾幀手中有商品即為拿取操作。

4.根據權利要求3所述的一種基于純視覺的免門禁無人商店結賬方法，其特征是：所述步驟2具體為：

使用Tensorflow框架搭建卷積神經網絡模型，加載產品圖片數據集，共18個子文件夾即18類商品，處理后讓模型進行學習訓練，預測分類測試集圖片；對得到的關鍵幀和附近的幾幀，每一幀都作商品模型的輸入，對輸出結果取最大概率的作為商品的類型，輸入為發生拿取放回動作的視頻幀；輸出為商品的類型。

5.根據權利要求4所述的一種基于純視覺的免門禁無人商店結賬方法，其特征是：為了提高視頻識別的準確率，對傳來的視頻幀進行處理，具體為：通過openpose識別手，裁剪手部附近的圖片；對裁剪得到的圖片進行篩選，去掉沒手的圖片；將圖片輸入商品分類模型，去掉概率值低于0.3的結果，取結果中概率值最大分類結果的作為最后的結果。

6.根據權利要求5所述的一種基于純視覺的免門禁無人商店結賬方法，其特征是：所述步驟3具體為：

要匹配顧客和商品的ID，首先要確定顧客和商品的定位，采用多個攝像頭融合，在視頻中識別出人的關鍵部位，包括頭和左右手，并且得到在現實世界的空間坐標，通過計算顧客與商品的3D距離來判斷商品是被誰拿走的；

數據集中給了每種商品的3D位置，根據得到的商品類型查詢到商品的位置；

多個攝像頭使用openpose識別出關鍵骨骼點2D坐標，利用ReID去掉噪聲和圖像中識別錯誤的顧客，多攝像頭的顧客進行關聯，每個攝像頭下同一顧客的二維坐標通過三角測量triangulation的方法得到三維坐標，得到商品和顧客的位置之后，選擇離商品最近的顧客作為動作的發起者。

7.根據權利要求6所述的一種基于純視覺的免門禁無人商店結賬方法，其特征是：所述步驟4具體為：通過reid得到操作商品的人在不同攝像頭下的圖片，對得到的圖片都進行人臉識別，利用MTCNN進行人臉框提取，將提取后的人臉框送入facenet中提取出embedding，利用SVM對embedding進行分類，利用MTCNN模型人臉檢測，利用faceNet模型人臉識別，將圖片輸入人臉識別模型，取結果中的眾數作為最后的結果，發起付款。