[發(fā)明專利]一種用于無(wú)人售貨柜的多角度視頻融合的商品識(shí)別算法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810686023.0
• 申請(qǐng)日: 2018-06-28
• 公開(kāi)（公告）號(hào): CN108960119B
• 公開(kāi)（公告）日: 2021-06-08
• 發(fā)明（設(shè)計(jì)）人: 蔡丁丁;方無(wú)迪;唐開(kāi);劉鈺濤;張運(yùn)輝
• 申請(qǐng)（專利權(quán)）人: 武漢市哈哈便利科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/08
• 代理公司: 南京縱橫知識(shí)產(chǎn)權(quán)代理有限公司 32224
• 代理人: 徐瑛

1.一種用于無(wú)人售貨柜的多角度視頻融合的商品識(shí)別算法，其特征在于，包括以下步驟：

步驟一、對(duì)采集到的視頻數(shù)據(jù)進(jìn)行預(yù)處理，進(jìn)一步包括：采集視頻數(shù)據(jù)和對(duì)采集到的視頻數(shù)據(jù)進(jìn)行動(dòng)態(tài)區(qū)域檢測(cè)，得到所述視頻數(shù)據(jù)中視頻幀的動(dòng)態(tài)區(qū)域；步驟一進(jìn)一步包括：采用時(shí)序動(dòng)態(tài)圖算法對(duì)視頻數(shù)據(jù)中連續(xù)的多幀圖像進(jìn)行計(jì)算，得到所述視頻數(shù)據(jù)的時(shí)序動(dòng)態(tài)圖，然后利用所述時(shí)序動(dòng)態(tài)圖得到所述視頻數(shù)據(jù)對(duì)應(yīng)的動(dòng)態(tài)區(qū)域掩碼，對(duì)所述動(dòng)態(tài)區(qū)域掩碼進(jìn)行平滑處理，將處理后的動(dòng)態(tài)區(qū)域掩碼應(yīng)用到所述視頻數(shù)據(jù)對(duì)應(yīng)的每一個(gè)視頻幀上，獲得所述視頻數(shù)據(jù)中的動(dòng)態(tài)區(qū)域，并將非動(dòng)態(tài)區(qū)域內(nèi)的像素全部設(shè)為零；

步驟二、對(duì)所述視頻數(shù)據(jù)中視頻幀進(jìn)行關(guān)鍵幀采樣；

步驟三、構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)模型；

步驟四、利用采樣的關(guān)鍵幀對(duì)所述模型進(jìn)行訓(xùn)練和精度測(cè)試，在商品識(shí)別的精度達(dá)到預(yù)期后，部署所述模型，該步驟進(jìn)一步包括：特征提取、特征融合、特征識(shí)別；

基于Inception_v3模型的遷移學(xué)習(xí)技術(shù)分別對(duì)來(lái)自不同角度的視頻數(shù)據(jù)關(guān)鍵幀組進(jìn)行深度特征提取，采用的是平形的多流網(wǎng)絡(luò)結(jié)構(gòu)，然后將提取到的多角度深度特征圖進(jìn)行特征融合；

對(duì)融合后的特征圖進(jìn)行特征識(shí)別和統(tǒng)計(jì)回歸：所述模型首先對(duì)視頻中所出現(xiàn)的商品進(jìn)行識(shí)別并正確分類，同時(shí)結(jié)合分類結(jié)果對(duì)識(shí)別的商品進(jìn)行統(tǒng)計(jì)計(jì)數(shù)，計(jì)算對(duì)應(yīng)的商品數(shù)量；更具體來(lái)講，一旦所述模型識(shí)別出在視頻中出現(xiàn)的商品，其對(duì)應(yīng)的索引位置則會(huì)在輸出的類別向量中被激活，再結(jié)合被激活的索引位置，通過(guò)回歸計(jì)算得到其對(duì)應(yīng)商品的數(shù)目；

步驟五、來(lái)自無(wú)人售貨柜的不同角度攝像頭的視頻數(shù)據(jù)經(jīng)預(yù)處理和關(guān)鍵幀采樣后輸入所述模型，得到識(shí)別出的商品種類和對(duì)應(yīng)的商品數(shù)量。

2.如權(quán)利要求1所述的一種用于無(wú)人售貨柜的多角度視頻融合的商品識(shí)別算法，其特征在于，所述采集到的視頻數(shù)據(jù)來(lái)自以不同角度布置于無(wú)人售貨柜上的多個(gè)攝像頭。

3.如權(quán)利要求1所述的一種用于無(wú)人售貨柜的多角度視頻融合的商品識(shí)別算法，其特征在于，步驟二進(jìn)一步包括：以固定步長(zhǎng)或自適應(yīng)步長(zhǎng)進(jìn)行關(guān)鍵幀采樣。

4.如權(quán)利要求1所述的一種用于無(wú)人售貨柜的多角度視頻融合的商品識(shí)別算法，其特征在于，步驟三中，所述模型為基于TensorFlow的Keras框架下的Inception_v3模型。

5.如權(quán)利要求1所述的一種用于無(wú)人售貨柜的多角度視頻融合的商品識(shí)別算法，其特征在于，步驟四進(jìn)一步包括：對(duì)采樣的關(guān)鍵幀進(jìn)行深度特征提取，將提取到的多角度深度特征圖進(jìn)行特征融合，對(duì)融合后的特征圖進(jìn)行特征識(shí)別和統(tǒng)計(jì)回歸，得到兩個(gè)向量輸出，一個(gè)輸出向量為商品種類，另一個(gè)輸出向量為所述商品種類所對(duì)應(yīng)的商品數(shù)量。

6.如權(quán)利要求1所述的一種用于無(wú)人售貨柜的多角度視頻融合的商品識(shí)別算法，其特征在于，步驟四進(jìn)一步包括：所述模型在訓(xùn)練過(guò)程中，分別采用二分類交叉熵?fù)p失和最小平方差損失對(duì)商品種類和商品數(shù)量進(jìn)行優(yōu)化。

7.如權(quán)利要求1所述的一種用于無(wú)人售貨柜的多角度視頻融合的商品識(shí)別算法，其特征在于，所述模型具有多輸入多輸出結(jié)構(gòu)，多輸入用于對(duì)來(lái)自多個(gè)角度的視頻數(shù)據(jù)同時(shí)進(jìn)行處理，多輸出用于分別計(jì)算商品種類和對(duì)應(yīng)的商品數(shù)量。