[發明專利]一種用于無人售貨柜的多角度視頻融合的商品識別算法

有效

• 申請號: 201810686023.0
• 申請日: 2018-06-28
• 公開（公告）號: CN108960119B
• 公開（公告）日: 2021-06-08
• 發明（設計）人: 蔡丁丁;方無迪;唐開;劉鈺濤;張運輝
• 申請（專利權）人: 武漢市哈哈便利科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/08
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 徐瑛

1.一種用于無人售貨柜的多角度視頻融合的商品識別算法，其特征在于，包括以下步驟：

步驟一、對采集到的視頻數據進行預處理，進一步包括：采集視頻數據和對采集到的視頻數據進行動態區域檢測，得到所述視頻數據中視頻幀的動態區域；步驟一進一步包括：采用時序動態圖算法對視頻數據中連續的多幀圖像進行計算，得到所述視頻數據的時序動態圖，然后利用所述時序動態圖得到所述視頻數據對應的動態區域掩碼，對所述動態區域掩碼進行平滑處理，將處理后的動態區域掩碼應用到所述視頻數據對應的每一個視頻幀上，獲得所述視頻數據中的動態區域，并將非動態區域內的像素全部設為零；

步驟二、對所述視頻數據中視頻幀進行關鍵幀采樣；

步驟三、構建深度卷積神經網絡模型；

步驟四、利用采樣的關鍵幀對所述模型進行訓練和精度測試，在商品識別的精度達到預期后，部署所述模型，該步驟進一步包括：特征提取、特征融合、特征識別；

基于Inception_v3模型的遷移學習技術分別對來自不同角度的視頻數據關鍵幀組進行深度特征提取，采用的是平形的多流網絡結構，然后將提取到的多角度深度特征圖進行特征融合；

對融合后的特征圖進行特征識別和統計回歸：所述模型首先對視頻中所出現的商品進行識別并正確分類，同時結合分類結果對識別的商品進行統計計數，計算對應的商品數量；更具體來講，一旦所述模型識別出在視頻中出現的商品，其對應的索引位置則會在輸出的類別向量中被激活，再結合被激活的索引位置，通過回歸計算得到其對應商品的數目；

步驟五、來自無人售貨柜的不同角度攝像頭的視頻數據經預處理和關鍵幀采樣后輸入所述模型，得到識別出的商品種類和對應的商品數量。

2.如權利要求1所述的一種用于無人售貨柜的多角度視頻融合的商品識別算法，其特征在于，所述采集到的視頻數據來自以不同角度布置于無人售貨柜上的多個攝像頭。

3.如權利要求1所述的一種用于無人售貨柜的多角度視頻融合的商品識別算法，其特征在于，步驟二進一步包括：以固定步長或自適應步長進行關鍵幀采樣。

4.如權利要求1所述的一種用于無人售貨柜的多角度視頻融合的商品識別算法，其特征在于，步驟三中，所述模型為基于TensorFlow的Keras框架下的Inception_v3模型。

5.如權利要求1所述的一種用于無人售貨柜的多角度視頻融合的商品識別算法，其特征在于，步驟四進一步包括：對采樣的關鍵幀進行深度特征提取，將提取到的多角度深度特征圖進行特征融合，對融合后的特征圖進行特征識別和統計回歸，得到兩個向量輸出，一個輸出向量為商品種類，另一個輸出向量為所述商品種類所對應的商品數量。

6.如權利要求1所述的一種用于無人售貨柜的多角度視頻融合的商品識別算法，其特征在于，步驟四進一步包括：所述模型在訓練過程中，分別采用二分類交叉熵損失和最小平方差損失對商品種類和商品數量進行優化。

7.如權利要求1所述的一種用于無人售貨柜的多角度視頻融合的商品識別算法，其特征在于，所述模型具有多輸入多輸出結構，多輸入用于對來自多個角度的視頻數據同時進行處理，多輸出用于分別計算商品種類和對應的商品數量。