[發(fā)明專(zhuān)利]一種自動(dòng)售貨機(jī)圖像識(shí)別方法、售貨方法及自動(dòng)售貨設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201811618266.7
• 申請(qǐng)日: 2018-12-28
• 公開(kāi)（公告）號(hào): CN109712324B
• 公開(kāi)（公告）日: 2020-12-18
• 發(fā)明（設(shè)計(jì)）人: 陳云;龔慶祝;李含德;周梓榮
• 申請(qǐng)（專(zhuān)利權(quán)）人: 廣東便捷神科技股份有限公司
• 主分類(lèi)號(hào): G07F11/06
• 分類(lèi)號(hào): G07F11/06;G06K9/00
• 代理公司: 廣州嘉權(quán)專(zhuān)利商標(biāo)事務(wù)所有限公司 44205
• 代理人: 左恒峰

本發(fā)明公開(kāi)了一種自動(dòng)售貨機(jī)圖像識(shí)別方法、售貨方法及自動(dòng)售貨設(shè)備，包括以下步驟：通過(guò)攝像頭拍攝的圖片中對(duì)自動(dòng)售貨機(jī)中的玻璃框分界線進(jìn)行實(shí)時(shí)檢測(cè)；根據(jù)物品的尺寸信息對(duì)圖片中的物品信息以及區(qū)域信息進(jìn)行初步判別；從初步判別后的圖片中識(shí)別出每個(gè)物品的位置信息以及物品信息；對(duì)每個(gè)已經(jīng)識(shí)別出存放物品的位置信息進(jìn)行物品信息重新識(shí)別操作；確認(rèn)圖片中存在的未識(shí)別的物品位置信息，再結(jié)合物品尺寸信息選出最合適的位置信息，對(duì)所述位置信息進(jìn)行重新識(shí)別物品信息操作，通過(guò)機(jī)器學(xué)習(xí)算法將把準(zhǔn)確率大幅度提升而不過(guò)度依賴(lài)更多的數(shù)據(jù)，提高識(shí)別準(zhǔn)確率以及效率。

技術(shù)領(lǐng)域

本發(fā)明涉及售貨機(jī)領(lǐng)域，特別是一種自動(dòng)售貨機(jī)圖像識(shí)別方法、售貨方法及自動(dòng)售貨設(shè)備。

背景技術(shù)

在新零售浪潮下，各種各樣無(wú)人售賣(mài)的新興業(yè)態(tài)紛至沓來(lái)，以自助購(gòu)物、即時(shí)享用、移動(dòng)支付等為特征的無(wú)人售貨機(jī)正越來(lái)越多地出現(xiàn)在人們身邊，智能零售風(fēng)口已至，無(wú)人售貨機(jī)正迎來(lái)快速發(fā)展期。

“即拿即走”無(wú)人售貨機(jī)作為一種新型商業(yè)零售形式，不受時(shí)間、地點(diǎn)限制，節(jié)省人力且方便交易，被稱(chēng)為24小時(shí)營(yíng)業(yè)的微型超市。同時(shí)，“即拿即走”無(wú)人售貨機(jī)具有技術(shù)含量高、銷(xiāo)售方式新、市場(chǎng)潛力大、商品貨真價(jià)實(shí)等特點(diǎn)，蘊(yùn)含著廣闊的發(fā)展前景。消費(fèi)者的購(gòu)物流程不再需要傳統(tǒng)的售貨員，消費(fèi)者只需操作相應(yīng)的智能零售終端，即拿即走，很快即可方便快捷地享用到所選物品，但是目前的圖像識(shí)別技術(shù)不成熟，存在誤檢、漏檢、錯(cuò)檢等問(wèn)題，使用戶(hù)在購(gòu)物體驗(yàn)上存在不好感知。

發(fā)明內(nèi)容

為解決上述問(wèn)題，本發(fā)明的目的在于提供一種自動(dòng)售貨機(jī)圖像識(shí)別方法、售貨方法及自動(dòng)售貨設(shè)備，已達(dá)到物品銷(xiāo)售流程便捷準(zhǔn)確的目的。

本發(fā)明解決其問(wèn)題所采用的技術(shù)方案是：

第一方面，本發(fā)明提供了一種自動(dòng)售貨機(jī)圖像識(shí)別的方法，包括以下步驟：

通過(guò)攝像頭拍攝的圖片中對(duì)自動(dòng)售貨機(jī)中的玻璃框分界線進(jìn)行實(shí)時(shí)檢測(cè)，不同的攝像頭安裝角度，不同的安裝位置，與玻璃框的位置也會(huì)有區(qū)別，為了適應(yīng)這種區(qū)別，需要對(duì)玻璃框位置進(jìn)行確認(rèn)，使用位置篩選法，對(duì)處于玻璃門(mén)外的框直接判別無(wú)效，實(shí)時(shí)檢測(cè)玻璃框分界線，判別出物品真實(shí)的存放區(qū)；

根據(jù)物品的尺寸信息對(duì)圖片中的物品信息以及區(qū)域信息進(jìn)行初步判別，根據(jù)已錄入的物品的尺寸信息對(duì)真實(shí)存放區(qū)中的圖像進(jìn)行物品與區(qū)域識(shí)別，得出不同位置信息的物品為同一物品的判定并消除無(wú)法放置物品的位置信息；

從初步判別后的圖片中識(shí)別出每個(gè)物品的位置信息以及物品信息，對(duì)已識(shí)別出的物品進(jìn)行深度學(xué)習(xí)，識(shí)別每個(gè)物品的位置信息，并對(duì)物品信息進(jìn)行識(shí)別確認(rèn)；

對(duì)每個(gè)已經(jīng)識(shí)別出存放物品的位置信息進(jìn)行物品信息重新識(shí)別操作，對(duì)已經(jīng)提取的位置信息進(jìn)行重識(shí)別，將識(shí)別操作從“圖中哪里有個(gè)什么物品”變成“圖中的這個(gè)區(qū)域中是什么物品”，將繁雜的識(shí)別步驟簡(jiǎn)化，大幅度提升物品的識(shí)別準(zhǔn)確率；

確認(rèn)圖片中存在的未識(shí)別的物品位置信息，再結(jié)合物品尺寸信息選出最合適的位置信息，對(duì)所述位置信息進(jìn)行重新識(shí)別物品信息操作，在深度學(xué)習(xí)過(guò)程中，當(dāng)識(shí)別結(jié)果的置信度低于設(shè)置的閾值，識(shí)別結(jié)果會(huì)被過(guò)濾，則會(huì)出現(xiàn)圖片中存在的未識(shí)別的物品的情況，對(duì)該無(wú)法識(shí)別物品的位置信息根據(jù)已錄入物品的尺寸信息選出最合適的位置信息，然后對(duì)該位置信息重新進(jìn)行物品識(shí)別操作，確認(rèn)該區(qū)域中的物品信息。

進(jìn)一步，所述步驟通過(guò)攝像頭對(duì)自動(dòng)售貨機(jī)中的玻璃框分界線進(jìn)行實(shí)時(shí)檢測(cè)表現(xiàn)為，使用隨機(jī)森林算法和機(jī)器學(xué)習(xí)方式對(duì)玻璃框分界線進(jìn)行實(shí)時(shí)檢測(cè)，利用隨機(jī)森林算法分類(lèi)效果好，能處理高維特征，不容易產(chǎn)生過(guò)擬合，模型訓(xùn)練速度比較快，既能處理離散型數(shù)據(jù)，也能處理連續(xù)型數(shù)據(jù)，數(shù)據(jù)集無(wú)需規(guī)范化等優(yōu)點(diǎn)，同時(shí)通過(guò)機(jī)器學(xué)習(xí)方式提高對(duì)玻璃框分界線的劃分準(zhǔn)確率以及判斷效率，實(shí)現(xiàn)又快又好地判別出物品真實(shí)的存放區(qū)。