[發(fā)明專利]一種基于深度視覺的智能取貨識別方法

在審

• 申請?zhí)枺?/td>: 202010553402.X
• 申請日: 2020-06-17
• 公開（公告）號: CN111695536A
• 公開（公告）日: 2020-09-22
• 發(fā)明（設(shè)計）人: 丁發(fā)展;姜鵬
• 申請（專利權(quán)）人: 無錫雪浪數(shù)制科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/20;G06K9/34;G06N3/04;G06N3/08
• 代理公司: 無錫華源專利商標(biāo)事務(wù)所(普通合伙) 32228
• 代理人: 聶啟新

本發(fā)明公開了一種基于深度視覺的智能取貨識別方法，涉及機器視覺技術(shù)領(lǐng)域，該方法包括：獲取用戶操作圖像并從中提取出熱點區(qū)域前景圖；將熱點區(qū)域前景圖輸入到手持區(qū)域目標(biāo)檢測卷積神經(jīng)網(wǎng)絡(luò)中并輸出手持物品區(qū)域截圖；將手持物品區(qū)域截圖輸入到物品目標(biāo)分割卷積神經(jīng)網(wǎng)絡(luò)中并輸出物品分割切圖組；將物品分割切圖組輸入到物品目標(biāo)分類卷積神經(jīng)網(wǎng)絡(luò)中并輸出物品分類結(jié)果，物品分類結(jié)果包括手部區(qū)域以及各個物品的類別和數(shù)量；對攝像機采集的用戶操作動作分別進行目標(biāo)跟蹤，輸出各個用戶操作時序檢測結(jié)果并進行綜合分析，輸出本次操作取出的物品類別和數(shù)量。通過深度視覺視頻圖像分析技術(shù)對用戶的操作行為進行智能檢測識別，提高了物品識別精度。

技術(shù)領(lǐng)域

本發(fā)明涉及機器視覺技術(shù)領(lǐng)域，尤其是一種基于深度視覺的智能取貨識別方法。

背景技術(shù)

在物料管理、店鋪零售等場合，貨柜是必備的物品陳列裝置。九十年代，自動販賣機從歐美、日本地區(qū)傳入中國，傳統(tǒng)自動售貨機主要是硬件驅(qū)動，用戶使用紙幣、硬幣支付，貨柜通過彈簧彈出商品，但傳統(tǒng)的自動售貨機企業(yè)未能有效解決成本、質(zhì)量、運營等諸多問題，所以導(dǎo)致國內(nèi)市場上的自動售貨機不僅數(shù)量少，且品種非常單一，主要以瓶罐裝飲料售貨機為主。

近幾年，在新零售趨勢加持下，無人貨架迎來風(fēng)口。無人貨架大部分由互聯(lián)網(wǎng)公司進行運營，以幾百元的成本在辦公室等較封閉場景快速搭建貨架，用戶通過微信、支付寶掃碼支付，從無人貨架拿取商品。但因為沒有構(gòu)建消費閉環(huán)場景，導(dǎo)致商品貨損率極高，所以在運營一年后，大部分無人貨架項目都已暫停運營。

市場一直在驅(qū)動企業(yè)創(chuàng)新，無人貨架風(fēng)口過后，以RFID為核心技術(shù)的智能貨柜時代正式走上歷史舞臺，與無人貨架相比，智能貨柜形成了消費閉環(huán)，用戶掃碼開門拿取商品，關(guān)門即扣費。但基于RFID的智能貨柜運營成本十分高，一方面需要人工對所有商品貼上RFID標(biāo)簽，人力成本較高，RFID標(biāo)簽本身的成本也相當(dāng)昂貴，成為供應(yīng)商和消費者不得不承受的額外支出。另一方面，傳統(tǒng)的智能貨柜的智能化程度偏低，其內(nèi)部可以供應(yīng)的貨品類型數(shù)量通常受限于貨柜的區(qū)域劃分數(shù)量，每個硬性分區(qū)只能放置一個或一類物品，物品存放的靈活性極低。

發(fā)明內(nèi)容

本發(fā)明人針對上述問題及技術(shù)需求，提出了一種基于深度視覺的智能取貨識別方法，通過深度視覺視頻圖像分析技術(shù)對用戶的操作行為進行智能檢測識別，結(jié)合邊緣計算、智能門控技術(shù)對用戶拿起的物品進行實時智能視覺分析，提高了物品識別精度的同時，降低了智能貨柜的運維成本。

本發(fā)明的技術(shù)方案如下：

一種基于深度視覺的智能取貨識別方法，包括如下步驟：

通過設(shè)置在智能貨柜內(nèi)的攝像機獲取用戶操作圖像；

從用戶操作圖像中提取出熱點區(qū)域前景圖；

將熱點區(qū)域前景圖輸入到手持區(qū)域目標(biāo)檢測卷積神經(jīng)網(wǎng)絡(luò)中進行檢測得到手持物品區(qū)域截圖；

將手持物品區(qū)域截圖輸入到物品目標(biāo)分割卷積神經(jīng)網(wǎng)絡(luò)中進行分割得到物品分割切圖組，物品分割切圖組包括手部區(qū)域切圖以及各個物品區(qū)域切圖；

將物品分割切圖組輸入到物品目標(biāo)分類卷積神經(jīng)網(wǎng)絡(luò)中并輸出物品分類結(jié)果，物品分類結(jié)果包括手部區(qū)域以及各個物品的類別和數(shù)量；

對攝像機采集的用戶操作動作分別進行目標(biāo)跟蹤，輸出各個用戶操作時序檢測結(jié)果；

對用戶操作時序檢測結(jié)果進行綜合分析，輸出本次操作取出的物品類別和數(shù)量。

其進一步的技術(shù)方案為，從用戶操作圖像中提取出熱點區(qū)域前景圖，包括：

加載用戶操作圖像，獲取當(dāng)前用戶操作圖像的前一幀圖像以及后一幀圖像；

將當(dāng)前用戶操作圖像、前一幀圖像以及后一幀圖像轉(zhuǎn)換為灰度圖，分別獲取當(dāng)前用戶操作圖像與前一幀圖像以及與后一幀圖像的雙向灰度差值，并且合并為雙向幀差圖；