[發(fā)明專利]智能零售柜商品目標(biāo)檢測統(tǒng)一框架的構(gòu)建方法及商品識別方法

有效

• 申請?zhí)枺?/td>: 201910560663.1
• 申請日: 2019-06-26
• 公開（公告）號: CN110414559B
• 公開（公告）日: 2021-09-03
• 發(fā)明（設(shè)計）人: 姚劍;趙琳鈺;陳凱;趙錦杰;張瑞杰
• 申請（專利權(quán)）人: 武漢大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04
• 代理公司: 武漢科皓知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 羅飛

1.一種智能零售柜商品目標(biāo)檢測統(tǒng)一框架的構(gòu)建方法，其特征在于，包括：

步驟S1：采集零售柜內(nèi)商品的圖像數(shù)據(jù)，并對采集的圖像數(shù)據(jù)進(jìn)行預(yù)處理與擴(kuò)充；

步驟S2：采用分層標(biāo)注模式，對不同類型的商品采用不同的標(biāo)注方法進(jìn)行標(biāo)注；

步驟S3：按照預(yù)設(shè)比例，將標(biāo)注后的數(shù)據(jù)劃分為訓(xùn)練數(shù)據(jù)、驗證數(shù)據(jù)和測試數(shù)據(jù)；

步驟S4：將訓(xùn)練數(shù)據(jù)輸入預(yù)設(shè)卷積神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練，獲得YOLOv3模型；

步驟S5：根據(jù)商品的形狀特征，構(gòu)建混淆商品列表，并根據(jù)混淆商品列表對步驟S2中得到的標(biāo)注數(shù)據(jù)進(jìn)行裁剪，制作相似商品數(shù)據(jù)集，再利用相似商品數(shù)據(jù)集對相似識別子網(wǎng)絡(luò)進(jìn)行訓(xùn)練，獲得訓(xùn)練后的相似識別子網(wǎng)絡(luò)模型；

步驟S6：將YOLOv3模型與訓(xùn)練后的相似識別子網(wǎng)絡(luò)模型結(jié)合，構(gòu)建商品目標(biāo)檢測統(tǒng)一框架，其中，將YOLOv3模型與訓(xùn)練后的相似識別子網(wǎng)絡(luò)模型結(jié)合包括：對YOLOv3模型的識別結(jié)果進(jìn)行判斷，如果類別在混淆列表中，則將該商品對應(yīng)的圖像進(jìn)行剪裁后輸入到相似識別子網(wǎng)絡(luò)模型中，進(jìn)行進(jìn)一步識別。

2.如權(quán)利要求1所述的方法，其特征在于，步驟S1具體包括：

步驟S1.1：通過魚眼相機(jī)和燈帶對零售柜內(nèi)商品進(jìn)行拍照，采集商品的圖像數(shù)據(jù)；

步驟S1.2：剔除采集的圖像數(shù)據(jù)中的錯誤數(shù)據(jù)；

步驟S1.3：對剔除錯誤數(shù)據(jù)后的圖像數(shù)據(jù)進(jìn)行亮度、模糊、旋轉(zhuǎn)操作對數(shù)據(jù)進(jìn)行擴(kuò)充。

3.如權(quán)利要求1所述的方法，其特征在于，步驟S2具體包括：

步驟S2.1：對于形狀特征符合第一預(yù)設(shè)條件的商品，采用標(biāo)注商品瓶蓋的標(biāo)注方式，對于形狀特征符合第二預(yù)設(shè)條件的商品，采用標(biāo)注商品全身的標(biāo)注方式；

步驟S2.2：生成標(biāo)注后的數(shù)據(jù)，其中，標(biāo)注后的數(shù)據(jù)包含商品的位置坐標(biāo)、類別及對應(yīng)的圖片信息。

4.如權(quán)利要求1所述的方法，其特征在于，步驟S4中的預(yù)設(shè)卷積神經(jīng)網(wǎng)絡(luò)模型為DarkNet53。

5.如權(quán)利要求1所述的方法，其特征在于，步驟S5中的相似識別子網(wǎng)絡(luò)模型包括5個卷積層、3個池化層、2個全連接層和1個輸出的softmax層。

6.一種基于權(quán)利要求1至5任一項權(quán)利要求所構(gòu)建的商品目標(biāo)檢測統(tǒng)一框架的商品識別方法，其特征在于，包括：

利用商品目標(biāo)檢測統(tǒng)一框架結(jié)合優(yōu)化的非極大值抑制方法進(jìn)行零售商品識別測試。

7.如權(quán)利要求6所述的方法，其特征在于，利用商品目標(biāo)檢測統(tǒng)一框架結(jié)合優(yōu)化的非極大值抑制方法進(jìn)行零售商品識別測試，包括：

將測試數(shù)據(jù)輸入YOLOv3模型，得到測試結(jié)果；

將測試結(jié)果采用優(yōu)化的非極大值抑制方法進(jìn)行處理，得到Y(jié)OLOv3模型的識別結(jié)果，其中，YOLOv3模型的識別結(jié)果包括檢測目標(biāo)的類別和第一置信度，優(yōu)化的非極大值抑制算法包括：首先對全局利用檢測框的面積交并比進(jìn)行過濾，當(dāng)兩個檢測框的交并比大于第一閾值時，則判定它們是同一個目標(biāo)的包圍框，刪掉置信度較小的檢測框；然后計算每個檢測框與其余所有檢測框的并集面積與本身面積的比值，當(dāng)比值大于第二閾值時，則判定該檢測框為錯誤框，將其刪除；

對YOLOv3模型的識別結(jié)果進(jìn)行判斷，如果類別在混淆列表中，則將該商品對應(yīng)的圖像進(jìn)行剪裁后輸入到相似識別子網(wǎng)絡(luò)模型中，進(jìn)行進(jìn)一步識別，并得到相似識別子網(wǎng)絡(luò)模型的識別結(jié)果，且相似識別子網(wǎng)絡(luò)模型的識別結(jié)果包括第二置信度；

根據(jù)YOLOv3模型的識別結(jié)果中的第一置信度與相似識別子網(wǎng)絡(luò)模型的識別結(jié)果中的第二置信度，得到最終識別結(jié)果。

8.如權(quán)利要求7所述的方法，其特征在于，根據(jù)YOLOv3模型的識別結(jié)果中的第一置信度與相似識別子網(wǎng)絡(luò)模型的識別結(jié)果的第二置信度，得到最終識別結(jié)果，包括：

如果YOLOv3模型的識別結(jié)果的第一置信度大于相似識別子網(wǎng)絡(luò)模型的識別結(jié)果的第二置信度，則將YOLOv3模型的識別結(jié)果作為最終識別結(jié)果；

否則，將相似識別子網(wǎng)絡(luò)模型的識別結(jié)果作為最終識別結(jié)果，并將第一置信度和第二置信度的平均值作為最終的置信度。