[發(fā)明專利]一種基于圖像識(shí)別的貨架商品價(jià)格識(shí)別方法、裝置和系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201810421151.2
• 申請(qǐng)日: 2018-05-04
• 公開（公告）號(hào): CN108830147A
• 公開（公告）日: 2018-11-16
• 發(fā)明（設(shè)計(jì)）人: 郭怡適;黃耀鴻;韓冉;陳城;鐘曉仕;徐欣
• 申請(qǐng)（專利權(quán)）人: 廣州圖匠數(shù)據(jù)科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/32;G06K9/62
• 代理公司: 廣州嘉權(quán)專利商標(biāo)事務(wù)所有限公司 44205
• 代理人: 胡輝

1.一種基于圖像識(shí)別的貨架商品價(jià)格識(shí)別方法，其特征在于，包括有以下步驟：

采用攝像頭進(jìn)行360度攝像采集貨架圖片作為訓(xùn)練圖片集；

獲取訓(xùn)練圖片集中圖片的標(biāo)注信息，所述標(biāo)注信息包括有商品位置標(biāo)注信息和價(jià)格標(biāo)簽位置標(biāo)注信息；

將訓(xùn)練圖片集輸入至訓(xùn)練機(jī)，依次進(jìn)行Box訓(xùn)練、Others訓(xùn)練、Sku訓(xùn)練和Price訓(xùn)練，得到具備圖像識(shí)別能力的識(shí)別引擎；

采集貨架圖片作為測(cè)試圖片集并對(duì)其進(jìn)行測(cè)試圖片集圖片數(shù)據(jù)預(yù)處理；

將圖片數(shù)據(jù)預(yù)處理后的測(cè)試圖片集輸入至識(shí)別引擎進(jìn)行識(shí)別得到商品價(jià)格信息。

2.根據(jù)權(quán)利要求1所述的一種基于圖像識(shí)別的貨架商品價(jià)格識(shí)別方法，其特征在于：所述Box訓(xùn)練為對(duì)訓(xùn)練圖片集的標(biāo)注部分進(jìn)行識(shí)別訓(xùn)練，所述識(shí)別訓(xùn)練的目標(biāo)分別為商品形狀的Sku盒子和價(jià)格標(biāo)簽形狀的Price盒子。

3.根據(jù)權(quán)利要求2所述的一種基于圖像識(shí)別的貨架商品價(jià)格識(shí)別方法，其特征在于：

所述Others訓(xùn)練為針對(duì)Sku盒子進(jìn)一步將識(shí)別結(jié)果分為錄入物體和非錄入物體進(jìn)行識(shí)別，識(shí)別出的錄入物體為精確結(jié)果；

所述Sku訓(xùn)練為在所述Others訓(xùn)練識(shí)別為錄入物體的基礎(chǔ)上根據(jù)商品分類信息進(jìn)一步分類識(shí)別。

4.根據(jù)權(quán)利要求2所述的一種基于圖像識(shí)別的貨架商品價(jià)格識(shí)別方法，其特征在于，所述Price訓(xùn)練的具體步驟為：

基于Price盒子所提取出的圖片對(duì)基于Attension機(jī)制的數(shù)字識(shí)別模型進(jìn)行訓(xùn)練，從而得到具備數(shù)字識(shí)別能力的數(shù)字識(shí)別模型；

基于數(shù)字識(shí)別模型的輸出數(shù)據(jù)對(duì)價(jià)格識(shí)別模型進(jìn)行訓(xùn)練，從而得到具備商品價(jià)格區(qū)間識(shí)別能力的價(jià)格識(shí)別模型。

5.一種基于圖像識(shí)別的貨架商品價(jià)格識(shí)別裝置，其特征在于，包括有：

圖像采集模塊，用于采用攝像頭進(jìn)行360度攝像采集貨架圖片作為訓(xùn)練圖片集或測(cè)試圖片集；

標(biāo)注模塊，用于獲取訓(xùn)練圖片集中圖片的標(biāo)注信息，所述標(biāo)注信息包括有商品位置標(biāo)注信息和價(jià)格標(biāo)簽位置標(biāo)注信息；

訓(xùn)練模塊，用于將訓(xùn)練圖片集輸入至訓(xùn)練機(jī)，依次進(jìn)行Box訓(xùn)練、Others訓(xùn)練、Sku訓(xùn)練和Price訓(xùn)練，得到具備圖像識(shí)別能力的識(shí)別引擎；

預(yù)處理模塊，用于對(duì)測(cè)試圖片集進(jìn)行圖片數(shù)據(jù)預(yù)處理；

識(shí)別引擎，用于將圖片數(shù)據(jù)預(yù)處理后的測(cè)試圖片集進(jìn)行識(shí)別得到商品價(jià)格信息。

6.根據(jù)權(quán)利要求5所述的一種基于圖像識(shí)別的貨架商品價(jià)格識(shí)別裝置，其特征在于：所述識(shí)別引擎包括有Box識(shí)別模型、Others識(shí)別模型、Sku識(shí)別模型和Price識(shí)別模型。

7.根據(jù)權(quán)利要求6所述的一種基于圖像識(shí)別的貨架商品價(jià)格識(shí)別裝置，其特征在于，所述訓(xùn)練模塊包括有Box訓(xùn)練子模塊，用于對(duì)訓(xùn)練圖片集的標(biāo)注部分進(jìn)行識(shí)別訓(xùn)練，所述識(shí)別訓(xùn)練的目標(biāo)分別為商品形狀的Sku盒子和價(jià)格標(biāo)簽形狀的Price盒子，從而得到具備Box識(shí)別能力的Box識(shí)別模型。

8.根據(jù)權(quán)利要求7所述的一種基于圖像識(shí)別的貨架商品價(jià)格識(shí)別裝置，其特征在于，所述訓(xùn)練模塊包括有：

Others訓(xùn)練子模塊，用于針對(duì)Sku盒子進(jìn)一步將識(shí)別結(jié)果分為錄入物體和非錄入物體進(jìn)行識(shí)別，從而得到具備識(shí)別出的錄入物體精確結(jié)果的Others識(shí)別模型；

Sku訓(xùn)練子模塊，用于在所述Others訓(xùn)練識(shí)別為錄入物體的基礎(chǔ)上根據(jù)商品分類信息進(jìn)一步分類識(shí)別，從而得到具備識(shí)別出商品惟一性的Sku識(shí)別模型。

9.根據(jù)權(quán)利要求7所述的一種基于圖像識(shí)別的貨架商品價(jià)格識(shí)別裝置，其特征在于：所述Price識(shí)別模型包括有數(shù)字識(shí)別子模型和價(jià)格識(shí)別子模型；所述訓(xùn)練模塊包括有Price訓(xùn)練子模塊，用于基于Price盒子所提取出的圖片對(duì)基于Attension機(jī)制的數(shù)字識(shí)別子模型進(jìn)行訓(xùn)練，從而得到具備數(shù)字識(shí)別能力的數(shù)字識(shí)別子模型；

基于數(shù)字識(shí)別模型的輸出數(shù)據(jù)對(duì)價(jià)格識(shí)別子模型進(jìn)行訓(xùn)練，從而得到具備商品價(jià)格區(qū)間識(shí)別能力的價(jià)格識(shí)別子模型。

10.一種基于圖像識(shí)別的貨架商品價(jià)格識(shí)別系統(tǒng)，其特征在于，包括有：

至少一個(gè)處理器；

至少一個(gè)存儲(chǔ)器，用于存儲(chǔ)至少一個(gè)程序；

當(dāng)所述至少一個(gè)程序被所述至少一個(gè)處理器執(zhí)行，使得所述至少一個(gè)處理器實(shí)現(xiàn)如權(quán)利要求1-4中任一權(quán)利要求所述的一種基于圖像識(shí)別的貨架商品價(jià)格識(shí)別方法。