[發(fā)明專利]無人貨架視頻審核系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 201811023408.5
• 申請日: 2018-09-03
• 公開（公告）號: CN109145858A
• 公開（公告）日: 2019-01-04
• 發(fā)明（設計）人: 司江華;張宇輝;蔣一新;梁勝;李小偉;王柏成;朱榮;史友娟
• 申請（專利權）人: 哦加哦網(wǎng)絡科技（上海）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T5/00
• 代理公司: 上海海鈞知識產(chǎn)權代理事務所(特殊普通合伙) 31330
• 代理人: 陳劍

本發(fā)明公開了一種無人貨架視頻審核系統(tǒng)及方法，該審核系統(tǒng)包括：視頻上傳模塊，其根據(jù)貨架的盜損數(shù)據(jù)，選擇盜損高的貨架，并對在該貨架上發(fā)生購物行為的用戶視頻，進行拉取；開關門檢測模塊，利用數(shù)字圖像現(xiàn)技術找到冰箱的門。本發(fā)明基于圖像處理技術，識別視頻中用戶真正的購物過程，以達到對視頻的高效審核。

技術領域

本發(fā)明涉及一種視頻審核系統(tǒng)及方法，特別是涉及一種無人貨架視頻審核系統(tǒng)及方法。

背景技術

在無人貨架零售領域，通過視頻監(jiān)控來追查用戶購買時是否發(fā)生盜損，是一個比較新穎的方案。該方案的可行性比較依賴于其對視頻審核的效率。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術問題是提供一種無人貨架視頻審核系統(tǒng)及方法，其能夠達到對視頻的高效審核。

本發(fā)明是通過下述技術方案來解決上述技術問題的：一種無人貨架視頻審核系統(tǒng)，其特征在于，其包括：

視頻上傳模塊，其根據(jù)貨架的盜損數(shù)據(jù)，選擇盜損高的貨架，并對在該貨架上發(fā)生購物行為的用戶視頻，進行拉取；

開關門檢測模塊，利用數(shù)字圖像現(xiàn)技術找到冰箱的門；

開關門過濾模塊，根據(jù)開關門檢測模塊檢測到的門，將視頻中的噪聲區(qū)域過濾掉；

前景檢測模塊，利用高斯混合模型，對圖像中有效區(qū)域進行檢測；

手勢檢測模塊，其通過圖像處理技術將人的手給識別出來；

播放參數(shù)模塊，將前景檢測模塊、手勢檢測模塊的前景、膚色檢測的結果保存起來，為后續(xù)的視頻審核模塊的視頻播放提供播放參數(shù)；

視頻播放模塊，其根據(jù)播放參數(shù)模塊提供的播放參數(shù)，對視頻進行播放；對于在購買區(qū)間外的，根據(jù)播放參數(shù)進行快速播放，而對于在購買區(qū)間內(nèi)的，慢速播放；當有碰到手時，則以更慢的速度進行播放；

審核結果模塊，通過審核人員查看視頻信息，以確定用戶付款的與其實際拿的是否一致；如果不一致，則計算差價，并通過芝麻信用發(fā)起追繳。

優(yōu)選地，所述開關門檢測模塊和開關門過濾模塊構成一個圖像預處理單元，圖像預處理單元主要用來過濾掉視頻中的開關門噪聲。

本發(fā)明還提供一種無人貨架視頻審核方法，其特征在于，包括以下步驟：

步驟一、視頻上傳系統(tǒng)從后臺獲取貨架的盜損數(shù)據(jù)，并對其進行排序，然后，按照倒損率降序，拉取用戶購買時的視頻信息；最后，將視頻信息上傳到猩便利后臺；

步驟二、將上傳的視頻分割成一幀幀圖片，然后對每一張圖片進行Canny邊緣檢測和霍夫直線檢測，通過這兩步，即可把冰箱的門給檢測出來；

步驟三、根據(jù)步驟二的結果，將門區(qū)域外信息進行過濾處理，去掉噪聲點，提升檢測的精度；

步驟四、由于攝像頭固定，因此其拍攝的每一張圖片的背景，大致是一樣的；采用GMM高斯混合模型，其通過背景訓練，即可把背景去掉，僅留下前景；留下的前景即為用戶購物的圖片信息；

步驟五、對于取出來的前景圖片，通過TensorFlow模型訓練和膚色檢測，對圖片中有沒有手進行檢測，并將檢測結果保存下來；

步驟六、根據(jù)步驟四和步驟五的結果，將播放參數(shù)保存起來，保存格式：通過該參數(shù)，把視頻分成一段段小的視頻，然后播放模塊可以按照該參數(shù)進行播放；

步驟七、播放參數(shù)模塊根據(jù)視頻的播放參數(shù)，對視頻進行播放；

步驟八、通過審查視頻，以確定用戶購買的商品與其實際拿的商品是否一致；若一致，則用戶無盜損，若不一致，則區(qū)分出盜損商品，并計算差價，最后通過芝麻信用，對用戶發(fā)起追討。