[發(fā)明專利]基于多任務(wù)學(xué)習(xí)的價(jià)格牌識別方法、系統(tǒng)及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201910033930.X
• 申請日: 2019-01-15
• 公開（公告）號: CN109886105B
• 公開（公告）日: 2021-12-14
• 發(fā)明（設(shè)計(jì)）人: 牟永強(qiáng);嚴(yán)蕤;韓冉;孫超;劉榮杰;黃耀鴻;郭怡適
• 申請（專利權(quán)）人: 廣州圖匠數(shù)據(jù)科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州嘉權(quán)專利商標(biāo)事務(wù)所有限公司 44205
• 代理人: 胡輝

本發(fā)明公開了基于多任務(wù)學(xué)習(xí)的價(jià)格牌識別方法、系統(tǒng)及存儲介質(zhì)，方法包括識別模型訓(xùn)練步驟和價(jià)格牌識別步驟。本發(fā)明將價(jià)格牌中的整數(shù)部分和小數(shù)部分分別進(jìn)行訓(xùn)練以及識別，不但降低了神經(jīng)網(wǎng)絡(luò)訓(xùn)練的難度，而且可以將小數(shù)點(diǎn)的位置區(qū)分出來，提高了識別精度，可廣泛應(yīng)用于深度學(xué)習(xí)技術(shù)領(lǐng)域。

技術(shù)領(lǐng)域

本發(fā)明涉及深度學(xué)習(xí)技術(shù)領(lǐng)域，尤其是基于多任務(wù)學(xué)習(xí)的價(jià)格牌識別方法、系統(tǒng)及存儲介質(zhì)。

背景技術(shù)

近年來隨著深度學(xué)習(xí)技術(shù)的迅速發(fā)展，其應(yīng)用也是越來越廣泛，從傳統(tǒng)的安防領(lǐng)域，到近年來興起的智慧零售領(lǐng)域都有其身影。渠道核查是快消新零售中的一個重要環(huán)節(jié)，傳統(tǒng)的作業(yè)方式主要包括業(yè)務(wù)代表現(xiàn)場核查和第三方核查，這兩種方式都有著其各自的缺點(diǎn)，例如人工誤差大、核查周期長、數(shù)據(jù)誤差無法追溯等?；谏疃葘W(xué)習(xí)的圖像識別技術(shù)有著精度高、場景可還原等特點(diǎn)，非常適合渠道核查的業(yè)務(wù)場景?；趫D像的渠道核查主要包含兩大識別內(nèi)容，SKU識別和價(jià)格牌識別。價(jià)格作為銷售數(shù)據(jù)的重要組成部分，基于圖像的價(jià)格牌識別的精度要求很高，價(jià)格牌識別容易受價(jià)格牌外觀設(shè)計(jì)樣式、拍照質(zhì)量等影響，如模糊、挺斜等因素的影響。

現(xiàn)有價(jià)格牌識別技術(shù)大部分都是將價(jià)格牌的各個部分，如整數(shù)部分、小數(shù)部分以及小數(shù)點(diǎn)作為一個整體，然后統(tǒng)一進(jìn)行無差別的識別，但是由于價(jià)格牌的種類繁多，以及容易受光照、拍照角度的影響，其在圖像中的特征不是非常明顯，識別難度高，即使是使用了帶上下文關(guān)系的序列識別算法，也很難定位小數(shù)點(diǎn)的位置，因此精確度不高。

發(fā)明內(nèi)容

為解決上述技術(shù)問題，本發(fā)明的目的在于：提供一種難度低且精確度高的，基于多任務(wù)學(xué)習(xí)的價(jià)格牌識別方法、系統(tǒng)及存儲介質(zhì)。

本發(fā)明一方面所采取的技術(shù)方案為：

基于多任務(wù)學(xué)習(xí)的價(jià)格牌識別方法，包括識別模型訓(xùn)練步驟和價(jià)格牌識別步驟，其中，

所述識別模型訓(xùn)練步驟包括以下步驟：

根據(jù)價(jià)格牌的圖像數(shù)據(jù)，檢測價(jià)格牌上的價(jià)格信息；

根據(jù)價(jià)格牌上的價(jià)格信息，基于預(yù)設(shè)的數(shù)據(jù)格式對價(jià)格信息的整數(shù)部分和小數(shù)部分進(jìn)行標(biāo)注，得到價(jià)格數(shù)據(jù)；

對標(biāo)注好的價(jià)格數(shù)據(jù)進(jìn)行增強(qiáng)處理；

將增強(qiáng)處理后的價(jià)格數(shù)據(jù)輸入預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到識別模型；

所述價(jià)格牌識別步驟包括以下步驟：

通過目標(biāo)檢測模型對待識別圖像中的價(jià)格牌位置進(jìn)行檢測，得到價(jià)格牌圖像數(shù)據(jù)；

對價(jià)格牌圖像數(shù)據(jù)進(jìn)行預(yù)處理；

通過識別模型，對預(yù)處理后的價(jià)格牌圖像數(shù)據(jù)進(jìn)行識別，得到價(jià)格信息的整數(shù)部分識別結(jié)果和小數(shù)部分識別結(jié)果。

進(jìn)一步，所述識別模型訓(xùn)練步驟，還包括以下步驟：

采集貨架圖像；

對采集到的貨架圖像進(jìn)行檢測，確認(rèn)貨架圖像中價(jià)格牌區(qū)域的位置；

根據(jù)價(jià)格牌區(qū)域的位置，截取價(jià)格牌的圖像數(shù)據(jù)。

進(jìn)一步，所述對標(biāo)注好的價(jià)格數(shù)據(jù)進(jìn)行增強(qiáng)處理這一步驟中，所述增強(qiáng)處理包括亮度處理、對比度處理、旋轉(zhuǎn)處理、縮放處理、平移處理、增加噪聲處理、模擬運(yùn)動模糊處理和模擬空間模糊處理。

進(jìn)一步，所述將增強(qiáng)處理后的價(jià)格數(shù)據(jù)輸入預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到識別模型這一步驟，包括以下步驟：

通過卷積神經(jīng)網(wǎng)絡(luò)和LSTM網(wǎng)絡(luò)對增強(qiáng)處理后的價(jià)格數(shù)據(jù)進(jìn)行計(jì)算，得到價(jià)格的整數(shù)部分和小數(shù)部分；

通過LSTM網(wǎng)絡(luò)分別計(jì)算整數(shù)部分和小數(shù)部分的特征向量；