[發(fā)明專利]無人貨架視頻審核系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201811023408.5
• 申請(qǐng)日: 2018-09-03
• 公開（公告）號(hào): CN109145858A
• 公開（公告）日: 2019-01-04
• 發(fā)明（設(shè)計(jì)）人: 司江華;張宇輝;蔣一新;梁勝;李小偉;王柏成;朱榮;史友娟
• 申請(qǐng)（專利權(quán)）人: 哦加哦網(wǎng)絡(luò)科技（上海）有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06T5/00
• 代理公司: 上海海鈞知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 31330
• 代理人: 陳劍

1.一種無人貨架視頻審核系統(tǒng)，其特征在于，其包括：

視頻上傳模塊，其根據(jù)貨架的盜損數(shù)據(jù)，選擇盜損高的貨架，并對(duì)在該貨架上發(fā)生購(gòu)物行為的用戶視頻，進(jìn)行拉取；

開關(guān)門檢測(cè)模塊，利用數(shù)字圖像現(xiàn)技術(shù)找到冰箱的門；

開關(guān)門過濾模塊，根據(jù)開關(guān)門檢測(cè)模塊檢測(cè)到的門，將視頻中的噪聲區(qū)域過濾掉；

前景檢測(cè)模塊，利用高斯混合模型，對(duì)圖像中有效區(qū)域進(jìn)行檢測(cè)；

手勢(shì)檢測(cè)模塊，其通過圖像處理技術(shù)將人的手給識(shí)別出來；

播放參數(shù)模塊，將前景檢測(cè)模塊、手勢(shì)檢測(cè)模塊的前景、膚色檢測(cè)的結(jié)果保存起來，為后續(xù)的視頻審核模塊的視頻播放提供播放參數(shù)；

視頻播放模塊，其根據(jù)播放參數(shù)模塊提供的播放參數(shù)，對(duì)視頻進(jìn)行播放；對(duì)于在購(gòu)買區(qū)間外的，根據(jù)播放參數(shù)進(jìn)行快速播放，而對(duì)于在購(gòu)買區(qū)間內(nèi)的，慢速播放；當(dāng)有碰到手時(shí)，則以更慢的速度進(jìn)行播放；

審核結(jié)果模塊，通過審核人員查看視頻信息，以確定用戶付款的與其實(shí)際拿的是否一致；如果不一致，則計(jì)算差價(jià)，并通過芝麻信用發(fā)起追繳。

2.如權(quán)利要求1所述的無人貨架視頻審核系統(tǒng)，其特征在于，所述開關(guān)門檢測(cè)模塊和開關(guān)門過濾模塊構(gòu)成一個(gè)圖像預(yù)處理單元，圖像預(yù)處理單元主要用來過濾掉視頻中的開關(guān)門噪聲。

3.一種無人貨架視頻審核方法，其特征在于，包括以下步驟：

步驟一、視頻上傳系統(tǒng)從后臺(tái)獲取貨架的盜損數(shù)據(jù)，并對(duì)其進(jìn)行排序，然后，按照倒損率降序，拉取用戶購(gòu)買時(shí)的視頻信息；最后，將視頻信息上傳到猩便利后臺(tái)；

步驟二、將上傳的視頻分割成一幀幀圖片，然后對(duì)每一張圖片進(jìn)行Canny邊緣檢測(cè)和霍夫直線檢測(cè)，通過這兩步，即可把冰箱的門給檢測(cè)出來；

步驟三、根據(jù)步驟二的結(jié)果，將門區(qū)域外信息進(jìn)行過濾處理，去掉噪聲點(diǎn)，提升檢測(cè)的精度；

步驟四、由于攝像頭固定，因此其拍攝的每一張圖片的背景，大致是一樣的；采用GMM高斯混合模型，其通過背景訓(xùn)練，即可把背景去掉，僅留下前景；留下的前景即為用戶購(gòu)物的圖片信息；

步驟五、對(duì)于取出來的前景圖片，通過TensorFlow模型訓(xùn)練和膚色檢測(cè)，對(duì)圖片中有沒有手進(jìn)行檢測(cè)，并將檢測(cè)結(jié)果保存下來；

步驟六、根據(jù)步驟四和步驟五的結(jié)果，將播放參數(shù)保存起來，保存格式：通過該參數(shù)，把視頻分成一段段小的視頻，然后播放模塊可以按照該參數(shù)進(jìn)行播放；

步驟七、播放參數(shù)模塊根據(jù)視頻的播放參數(shù)，對(duì)視頻進(jìn)行播放；

步驟八、通過審查視頻，以確定用戶購(gòu)買的商品與其實(shí)際拿的商品是否一致；若一致，則用戶無盜損，若不一致，則區(qū)分出盜損商品，并計(jì)算差價(jià)，最后通過芝麻信用，對(duì)用戶發(fā)起追討。