[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法、物品檢測方法、裝置、設(shè)備及介質(zhì)

在審

• 申請?zhí)枺?/td>: 202111362267.1
• 申請日: 2021-11-17
• 公開（公告）號: CN114067247A
• 公開（公告）日: 2022-02-18
• 發(fā)明（設(shè)計(jì)）人: 孫蘊(yùn)哲;羅棕太
• 申請（專利權(quán)）人: 北京市商湯科技開發(fā)有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06K9/62;G06N3/04;G06N3/08;G06V10/774
• 代理公司: 北京中知恒瑞知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11889
• 代理人: 袁忠林

本公開提供了一種神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法、物品檢測方法、裝置及設(shè)備，以及存儲介質(zhì)，通過對樣本圖像幀進(jìn)行圖像增強(qiáng)處理，使得樣本圖像幀中除樣本物品之外的圖像內(nèi)容一致，再對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，可以有效降低樣本圖像幀中嘈雜背景對于神經(jīng)網(wǎng)絡(luò)訓(xùn)練的影響，減少神經(jīng)網(wǎng)絡(luò)訓(xùn)練的數(shù)據(jù)訓(xùn)練量，加快神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度，大大增強(qiáng)訓(xùn)練得到的目標(biāo)神經(jīng)網(wǎng)絡(luò)的魯棒性，有效提高物品檢測精度，通過目標(biāo)神經(jīng)網(wǎng)絡(luò)進(jìn)行物品的位置檢測，檢測準(zhǔn)確度高，對于自助購物來講，使用造價低的拍攝設(shè)備即可實(shí)現(xiàn)數(shù)據(jù)的獲取，可以有效降低設(shè)備成本，而且對于物品的擺放、位置等沒有依賴，可以節(jié)省大量人工成本，大大提高無人售貨柜、無人售貨機(jī)等門檻。

技術(shù)領(lǐng)域

本公開涉及網(wǎng)絡(luò)信息技術(shù)領(lǐng)域，具體而言，涉及一種神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法、物品檢測方法、裝置、設(shè)備，以及存儲有可供裝備和設(shè)備運(yùn)行的計(jì)算機(jī)程序的存儲介質(zhì)。

背景技術(shù)

隨著時代的進(jìn)步和科技的發(fā)展，人們的生活方式等發(fā)生了很大的改變，借助網(wǎng)絡(luò)支付、掃碼支付、刷臉支付等快捷付款方式，網(wǎng)絡(luò)購物、自助購物等購物方式，已經(jīng)成為人們的主要購物方式，尤其是使用無人售貨機(jī)、無人售貨柜等途徑的自助購物，由于其購物便捷、不受地域限制、不受環(huán)境限制等優(yōu)點(diǎn)，可以被大量的使用在商場、學(xué)校、醫(yī)院和辦公場所等地點(diǎn)，方便快捷的滿足人們的購買需求。

然后，對于自助購物來講，除了支付方式之外，如何有效和準(zhǔn)確的辨別用戶所選用的商品是實(shí)現(xiàn)支付和交易的關(guān)鍵，目前的自助購物中，常用的方式大多是使用特制的自助售貨設(shè)備或者靜態(tài)識別，在特制的自助售貨設(shè)備上安裝輔助作用的助射頻識別(RadioFrequency Identification，RFID)裝置幫助識別，或者通過對物品的特定擺放、位置限定、物品間隔設(shè)定的方式，實(shí)現(xiàn)物品的靜態(tài)識別，不僅造價昂貴，需要定期維護(hù)，而且物品識別準(zhǔn)確率低，易對用戶造成購買困難。

發(fā)明內(nèi)容

本公開實(shí)施例至少提供一種神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法、物品檢測方法、裝置及設(shè)備，以及存儲有可供裝備和設(shè)備運(yùn)行的計(jì)算機(jī)程序的存儲介質(zhì)。

本公開實(shí)施例提供了一種用于物品檢測的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，所述方法包括：

確定多幀樣本圖像幀，以及所述樣本圖像幀的樣本物品標(biāo)注信息；所述樣本物品標(biāo)注信息用于指示樣本物品在所述樣本圖像幀中的標(biāo)注位置；

基于所述樣本物品標(biāo)注信息，對多幀所述樣本圖像幀進(jìn)行圖像增強(qiáng)處理，使得所述樣本圖像幀中除其中的樣本物品之外的圖像內(nèi)容一致；

基于圖像增強(qiáng)處理后的所述樣本圖像幀以及所述樣本物品標(biāo)注信息，對預(yù)先構(gòu)建好的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練好的目標(biāo)神經(jīng)網(wǎng)絡(luò)，所述目標(biāo)神經(jīng)網(wǎng)絡(luò)用于對待檢測視頻進(jìn)行物品檢測。

一種可選的實(shí)施方式中，所述確定多幀樣本圖像幀，以及所述樣本圖像幀的樣本物品標(biāo)注信息，包括：

獲取樣本視頻，其中，所述樣本視頻記錄有至少一個樣本物品的獲取過程；

對所述樣本視頻進(jìn)行關(guān)鍵幀抽取處理，得到從所述樣本視頻中抽取出多幀樣本圖像幀，其中，每幀樣本圖像幀中包括至少一個樣本物品；

針對每幀樣本圖像幀，對所述樣本圖像幀中的至少一個樣本物品進(jìn)行標(biāo)注，得到所述樣本物品標(biāo)注信息。

一種可選的實(shí)施方式中，所述基于所述樣本物品標(biāo)注信息，對多幀所述樣本圖像幀進(jìn)行圖像增強(qiáng)處理，包括：

針對每幀所述樣本圖像幀，基于所述樣本物品標(biāo)注信息指示的、所述樣本圖像幀中標(biāo)注出的每個樣本物品的標(biāo)注位置，確定每個樣本物品在所述樣本圖像幀中的標(biāo)注區(qū)域；

將所述樣本圖像幀中除所述標(biāo)注區(qū)域之外的其他區(qū)域設(shè)置為純色圖像。

一種可選的實(shí)施方式中，所述將所述樣本圖像幀中除所述標(biāo)注區(qū)域之外的區(qū)域設(shè)置為純色圖像，包括：

獲取與所述樣本圖像幀中除所述標(biāo)注區(qū)域之外的其他區(qū)域?qū)?yīng)的純色遮罩；