[發(fā)明專利]智能零售柜商品目標(biāo)檢測統(tǒng)一框架的構(gòu)建方法及商品識別方法

有效

• 申請?zhí)枺?/td>: 201910560663.1
• 申請日: 2019-06-26
• 公開（公告）號: CN110414559B
• 公開（公告）日: 2021-09-03
• 發(fā)明（設(shè)計）人: 姚劍;趙琳鈺;陳凱;趙錦杰;張瑞杰
• 申請（專利權(quán)）人: 武漢大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04
• 代理公司: 武漢科皓知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 羅飛

本發(fā)明公開了一種智能零售柜商品目標(biāo)檢測統(tǒng)一框架的構(gòu)建方法，該框架由分級標(biāo)注模式、相似識別子網(wǎng)絡(luò)和優(yōu)化了非極大值抑制算法的YOLOv3組成。首先采集數(shù)據(jù)；然后，采用本發(fā)明提出的分級標(biāo)注模式對采集的數(shù)據(jù)進行標(biāo)注；接著將數(shù)據(jù)按照預(yù)設(shè)比例分為訓(xùn)練數(shù)據(jù)、驗證數(shù)據(jù)和測試數(shù)據(jù)，用于訓(xùn)練YOLOv3網(wǎng)絡(luò)，得到用于目標(biāo)檢測的模型；再制作相似商品數(shù)據(jù)集，用于訓(xùn)練相似識別網(wǎng)絡(luò)，得到用于進一步識別的模型；最后通過測試數(shù)據(jù)選擇最佳模型，得到測試結(jié)果。該方法所使用的硬件成本低，結(jié)算流程不需要人工干預(yù)，且提出的算法可以很好的適應(yīng)密集且存在遮擋場景下的零售柜商品目標(biāo)檢測，提高了檢測精度。

技術(shù)領(lǐng)域

本發(fā)明涉及目標(biāo)檢測技術(shù)領(lǐng)域，具體涉及一種智能零售柜商品目標(biāo)檢測統(tǒng)一框架的構(gòu)建方法及商品識別方法。

背景技術(shù)

目標(biāo)檢測作為圖像處理和計算機視覺的一個重要分支，在許多領(lǐng)域得到了廣泛的應(yīng)用。傳統(tǒng)的機器學(xué)習(xí)方法在很大程度上依賴于人為設(shè)計的特征的質(zhì)量，如SIFT、HOG、SURF等。傳統(tǒng)方法對研究人員的要求很高，其泛化能力非常有限。近年來，隨著深度學(xué)習(xí)算法的快速發(fā)展，目標(biāo)檢測技術(shù)進入了一個新的階段。深度學(xué)習(xí)代替了傳統(tǒng)人工設(shè)計的經(jīng)驗特征，可以從原始圖像中自動學(xué)習(xí)多層次的內(nèi)部特征，這在圖像分類和目標(biāo)檢測中非常有效。因此，基于深度學(xué)習(xí)的目標(biāo)檢測已經(jīng)成為主流。

目前，基于深度學(xué)習(xí)的目標(biāo)檢測算法可以分為兩大類，第一種是兩階段算法，將檢測問題分為兩個階段。首先生成區(qū)域建議，然后對區(qū)域建議進行分類和細(xì)化。兩階段算法的典型代表有RCNN、Fast R-CNN和Faster R-CNN等。第二種是單階段算法，不需要生成區(qū)域提取框階段，直接得到邊界框坐標(biāo)和類別概率。單階段算法的典型代表有YOLO、SSD和RetinaNet等。目標(biāo)檢測模型的主要評價標(biāo)準(zhǔn)是精度和速度，對于精度，既要考慮分類精度，又要考慮定位精度。一般來說，兩階段算法在精度上有優(yōu)勢，而單階段算法在速度上有優(yōu)勢。

智能零售系統(tǒng)近年來發(fā)展迅速，需要更少的人為干預(yù)，給人們的生活帶來了很大的便利。智能零售柜作為智能零售系統(tǒng)的典型代表，可以在無售貨員狀態(tài)下提供自動化銷售服務(wù)。在傳統(tǒng)的零售柜中，實現(xiàn)自動識別的方法主要有四種：(1)利用硬件對不同的商品進行分隔來判斷類別；(2)根據(jù)重量判斷商品類別；(3)識別顧客的行為，確定顧客在零售柜前的活動；(4)利用射頻識別對商品進行標(biāo)記，實現(xiàn)自動識別。然而，這些傳統(tǒng)的方法不僅成本高，而且降低了柜子的空間利用率，限制了商品種類。

本申請發(fā)明人在實施本發(fā)明的過程中，發(fā)現(xiàn)現(xiàn)有技術(shù)的方法，至少存在如下技術(shù)問題：

智能柜目標(biāo)檢測對速度有一定的要求，因此申請人認(rèn)為單級檢測算法是更好的選擇。單階段目標(biāo)檢測包括三個步驟：(1)特征提取；(2)使用分類器和回歸器進行評分和細(xì)化；(3)合并可能屬于同一目標(biāo)的邊界框。最后一個階段通常稱為非極大值抑制方法。非極大值抑制方法是一種后處理算法，用于去除冗余的邊界框，尋找目標(biāo)的最佳位置，這對整個算法非常重要。由于智能柜所檢測的場景存在密集分布和遮擋的情況，因此，很難選擇非極大值抑制方法的閾值。此外，當(dāng)物體的面積較小時，它們的面積交并比較大。在這種情況下，傳統(tǒng)的非極大值抑制方法不能夠得到很好的結(jié)果。有學(xué)者使用ScaleNet對商品進行檢測，但該算法并沒有解決存在遮擋的目標(biāo)檢測問題；也有使用針對密集場景相關(guān)的改進。

由此可知，現(xiàn)有技術(shù)中的方法存在識別精度不高的技術(shù)問題。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提供了一種智能零售柜商品目標(biāo)檢測統(tǒng)一框架的構(gòu)建方法及商品識別方法，用以解決或者至少部分解決現(xiàn)有技術(shù)中的方法存在的識別精度不高的技術(shù)問題。

本發(fā)明第一方面提供了一種智能零售柜商品目標(biāo)檢測統(tǒng)一框架的構(gòu)建方法，包括：

步驟S1：采集零售柜內(nèi)商品的圖像數(shù)據(jù)，并對采集的圖像數(shù)據(jù)進行預(yù)處理與擴充；

步驟S2：采用分層標(biāo)注模式，對不同類型的商品采用不同的標(biāo)注方法進行標(biāo)注；