[發(fā)明專利]一種商品定位識(shí)別方法、裝置、設(shè)備以及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201811435557.2
• 申請(qǐng)日: 2018-11-28
• 公開(kāi)（公告）號(hào): CN109522967A
• 公開(kāi)（公告）日: 2019-03-26
• 發(fā)明（設(shè)計(jì)）人: 陳志明;梁瀚君;馮新宇
• 申請(qǐng)（專利權(quán)）人: 廣州逗號(hào)智能零售有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/08
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 羅滿

本發(fā)明公開(kāi)了一種商品定位識(shí)別方法，通過(guò)獲取輸入的待識(shí)別圖像；將待識(shí)別圖像輸入至預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型中，提取出待識(shí)別圖像中商品對(duì)應(yīng)的區(qū)域；預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型為Faster?RCNN網(wǎng)絡(luò)模型；截取商品對(duì)應(yīng)的區(qū)域作為子圖，輸入至預(yù)先訓(xùn)練的圖像分類神經(jīng)網(wǎng)絡(luò)模型；預(yù)先訓(xùn)練的圖像分類神經(jīng)網(wǎng)絡(luò)模型為VGG?Net網(wǎng)絡(luò)模型；由圖像分類神經(jīng)網(wǎng)絡(luò)模型計(jì)算出子圖屬于各個(gè)商品類別的概率，識(shí)別出待識(shí)別圖像中商品的類別。本申請(qǐng)可以減少顯存占用，約十倍提升檢測(cè)的速度，同時(shí)還能夠提升識(shí)別的準(zhǔn)確率。此外，本申請(qǐng)還提供了一種具有上述技術(shù)效果的商品定位識(shí)別裝置、設(shè)備以及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，特別是涉及一種商品定位識(shí)別方法、裝置、設(shè)備以及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

使用深度學(xué)習(xí)和計(jì)算機(jī)視覺(jué)技術(shù)對(duì)商品進(jìn)行識(shí)別是無(wú)人零售中的重要一環(huán)，是實(shí)現(xiàn)智能結(jié)算臺(tái)的核心技術(shù)。目前主流的基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法包括Faster-RCNN、SSD、YOLO等。兩步式算法Faster-RCNN具有精準(zhǔn)的定位和識(shí)別效果，然而在類別數(shù)目較大的時(shí)候，該算法會(huì)占據(jù)大量的顯存，識(shí)別速度成比例下降，識(shí)別準(zhǔn)確率難以控制。一步式算法SSD和YOLO在識(shí)別速度上有明顯提升，而定位不夠精準(zhǔn)，識(shí)別準(zhǔn)確率也低于Faster-RCNN。

鑒于此，提供一種減少顯存占用，且同時(shí)提升檢測(cè)速度以及識(shí)別準(zhǔn)確率的商品定位識(shí)別方法是非常有必要的。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種商品定位識(shí)別方法、裝置、設(shè)備以及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，以解決現(xiàn)有商品定位識(shí)別技術(shù)中大量占用顯存、識(shí)別速度較低、識(shí)別準(zhǔn)確率難以控制的問(wèn)題。

為解決上述技術(shù)問(wèn)題，本發(fā)明提供一種商品定位識(shí)別方法，包括：

獲取輸入的待識(shí)別圖像；

將所述待識(shí)別圖像輸入至預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型中，提取出所述待識(shí)別圖像中商品對(duì)應(yīng)的區(qū)域；所述預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型為Faster-RCNN網(wǎng)絡(luò)模型；

截取所述商品對(duì)應(yīng)的區(qū)域作為子圖，輸入至預(yù)先訓(xùn)練的圖像分類神經(jīng)網(wǎng)絡(luò)模型；所述預(yù)先訓(xùn)練的圖像分類神經(jīng)網(wǎng)絡(luò)模型為VGG-Net網(wǎng)絡(luò)模型；

由所述圖像分類神經(jīng)網(wǎng)絡(luò)模型計(jì)算出所述子圖屬于各個(gè)商品類別的概率，識(shí)別出所述待識(shí)別圖像中商品的類別。

可選地，所述VGG-Net網(wǎng)絡(luò)模型的訓(xùn)練過(guò)程包括：

對(duì)經(jīng)過(guò)標(biāo)注商品的訓(xùn)練樣本圖像進(jìn)行預(yù)處理，輸入至所述VGG-Net網(wǎng)絡(luò)模型，加入已知的類別標(biāo)簽，用交叉熵作為損失函數(shù)，用隨機(jī)梯度下降的方式計(jì)算反向傳播梯度，用梯度優(yōu)化網(wǎng)絡(luò)參數(shù)，直到損失趨近于0。

可選地，所述預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型為采用inception-v2作為基礎(chǔ)的Faster-RCNN網(wǎng)絡(luò)模型，所述Faster-RCNN網(wǎng)絡(luò)模型的訓(xùn)練過(guò)程包括：

將訓(xùn)練樣本圖像輸入到所述Faster-RCNN網(wǎng)絡(luò)模型中，由RPN預(yù)測(cè)的邊框與已知的標(biāo)注邊框產(chǎn)生邊框Smooth函數(shù)損失，由RPN預(yù)測(cè)的類別與已知的標(biāo)注類別產(chǎn)生類別交叉熵?fù)p失，在全連接層與精修后的邊框與類別產(chǎn)生第二次損失，使用隨機(jī)梯度下降的方式優(yōu)化損失，在優(yōu)化過(guò)程中，第二步的損失所產(chǎn)生的梯度會(huì)被阻斷在RPN層之后，不斷對(duì)RPN及RPN層之前的網(wǎng)絡(luò)參數(shù)進(jìn)行優(yōu)化。

可選地，采用tensorflow中凍結(jié)模型的模型為pb文件的方式來(lái)聯(lián)合所述VGG-Net網(wǎng)絡(luò)模型與所述Faster-RCNN網(wǎng)絡(luò)模型。

可選地，所述訓(xùn)練樣本圖像的生成過(guò)程包括：

將人工進(jìn)行商品mask區(qū)域標(biāo)注的圖像作為訓(xùn)練圖像，輸入至DeepLab網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

采用訓(xùn)練好的DeepLab網(wǎng)絡(luò)對(duì)樣本圖像進(jìn)行自動(dòng)化標(biāo)注，生成訓(xùn)練樣本圖像。