[發(fā)明專利]一種基于自注意力深度網(wǎng)絡(luò)的商品識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011524704.0
• 申請(qǐng)日: 2020-12-22
• 公開（公告）號(hào): CN112528928A
• 公開（公告）日: 2021-03-19
• 發(fā)明（設(shè)計(jì)）人: 李國強(qiáng);王天雷;王俊妍;常軒;付樂
• 申請(qǐng)（專利權(quán)）人: 燕山大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 石家莊眾志華清知識(shí)產(chǎn)權(quán)事務(wù)所(特殊普通合伙) 13123
• 代理人: 張建

本發(fā)明公開了一種基于自注意力深度網(wǎng)絡(luò)的商品識(shí)別方法，其包括如下內(nèi)容：對(duì)商品數(shù)據(jù)集進(jìn)行分析，選擇部分?jǐn)?shù)據(jù)并將其劃分訓(xùn)練集，驗(yàn)證集和測(cè)試集，同時(shí)進(jìn)行小樣本處理，將數(shù)據(jù)分為多個(gè)任務(wù)，每一個(gè)任務(wù)都可以再分為支持集和查詢集，同時(shí)進(jìn)行數(shù)據(jù)增強(qiáng)處理；隨后提取支持集特征，并計(jì)算提取好的支持集特征中每一類的類原型，再提取查詢集特征，將支持集類原型和查詢集特征送入到以加權(quán)馬氏距離作為相似性度量的度量分類器中，利用softmax函數(shù)計(jì)算最終分類結(jié)果；再利用反向傳播算法更新模型參數(shù)，保存在驗(yàn)證集中表現(xiàn)最好的模型，最后將商品測(cè)試集送入到模型中進(jìn)行識(shí)別分類。本發(fā)明可以減少外部依賴性、識(shí)別更加高效，并且應(yīng)用范圍廣。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺技術(shù)領(lǐng)域，尤其是一種基于自注意力深度網(wǎng)絡(luò)的商品識(shí)別方法。

背景技術(shù)

在超市，電商等應(yīng)用領(lǐng)域中，隨著人力成本的增加及科學(xué)技術(shù)的發(fā)展，越來越多的商家選擇使用人工智能技術(shù)對(duì)商品進(jìn)行識(shí)別和分類，這一技術(shù)在發(fā)展中也更加具有研究意義。近年來，隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，圖像識(shí)別領(lǐng)域也得到了極大的進(jìn)步，甚至在某些數(shù)據(jù)集上的圖像分類，圖像分割的準(zhǔn)確率已經(jīng)超過了人類。當(dāng)前主流的基于深度學(xué)習(xí)的圖像識(shí)別有賴于大數(shù)據(jù)的發(fā)展，在數(shù)據(jù)量足夠大的情況下，基于深度學(xué)習(xí)的圖像識(shí)別技術(shù)可以很好的完成任務(wù)。然而，在商品識(shí)別中經(jīng)常會(huì)出現(xiàn)商品數(shù)量不足這一情況，此時(shí)利用傳統(tǒng)深度學(xué)習(xí)模型極易出現(xiàn)過擬合等問題導(dǎo)致商品識(shí)別效果不理想的問題。

最初有學(xué)者提出孿生網(wǎng)絡(luò)來識(shí)別有判別性的特征，再推廣到未知類別；而后有人提出以每個(gè)類的均值作為對(duì)應(yīng)的原型表示來學(xué)習(xí)一個(gè)度量空間，再利用固定距離度量如余弦距離或者非固定距離度量如神經(jīng)網(wǎng)絡(luò)等來進(jìn)行分類。但是這些方法都有一定的缺陷，首先他們對(duì)特征的表征能力并不強(qiáng)；其次，他們?cè)诿鎸?duì)新任務(wù)時(shí)泛化能力依然較差。

在學(xué)習(xí)新事物時(shí)，人類往往更加關(guān)注這一事物區(qū)別于其他事物的最主要特征，有學(xué)者利用人類的這一學(xué)習(xí)能力，提出了注意力機(jī)制。注意力機(jī)制開始應(yīng)用于圖像處理和自然語言處理中，當(dāng)前大部分應(yīng)用于圖像識(shí)別中的注意力機(jī)制為通道注意力機(jī)制和空間注意力機(jī)制。但是這兩種注意力機(jī)制對(duì)外部依賴較大，而同時(shí)忽略了內(nèi)部的關(guān)聯(lián)及位置等信息。

發(fā)明內(nèi)容

本發(fā)明需要解決的技術(shù)問題是提供可以減少外部依賴性、識(shí)別更加高效的一種基于自注意力深度網(wǎng)絡(luò)的商品識(shí)別方法。

為解決上述技術(shù)問題，本發(fā)明所采用的技術(shù)方案是：

一種基于自注意力深度網(wǎng)絡(luò)的商品識(shí)別方法，其包括如下步驟：

步驟1、取商品數(shù)據(jù)作為數(shù)據(jù)集，將數(shù)據(jù)集分為訓(xùn)練集、測(cè)試集和驗(yàn)證集，利用元學(xué)習(xí)思想以及小樣本學(xué)習(xí)方法對(duì)商品數(shù)據(jù)集處理，將訓(xùn)練集、測(cè)試集和驗(yàn)證集分別分為不同的多個(gè)任務(wù)，每一個(gè)任務(wù)再分為支持集和查詢集，同時(shí)進(jìn)行數(shù)據(jù)增強(qiáng)；

步驟2、利用自注意力機(jī)制增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)，對(duì)步驟1中增強(qiáng)后的數(shù)據(jù)提取特征，首先提取支持集的特征，并計(jì)算提取好的支持集特征中每一類的類原型，然后提取查詢集的特征；

步驟3、將步驟2中計(jì)算好的類原型和提取的查詢集的特征輸入到元學(xué)習(xí)度量分類器中；

步驟4、采用元學(xué)習(xí)的算法訓(xùn)練特征提取器和分類器，并利用反向傳播算法迭代更新參數(shù)，最終利用驗(yàn)證集驗(yàn)證模型，選取最佳模型；

步驟5、將最佳模型用于測(cè)試集中進(jìn)行識(shí)別。

本發(fā)明技術(shù)方案的進(jìn)一步改進(jìn)在于：通過元學(xué)習(xí)思想以及小樣本學(xué)習(xí)方法，取步驟1中的數(shù)據(jù)集中部分單品圖和部分結(jié)算圖作為小樣本數(shù)據(jù)集，并將小樣本數(shù)據(jù)集中的單品圖作為訓(xùn)練集和驗(yàn)證集，將部分結(jié)算圖作為測(cè)試集。

本發(fā)明技術(shù)方案的進(jìn)一步改進(jìn)在于：對(duì)小樣本數(shù)據(jù)集中的數(shù)據(jù)做mixup處理。