[發(fā)明專利]基于遷移學(xué)習(xí)的多視角商品圖像檢索與識別方法

在審

• 申請?zhí)枺?/td>: 201711047644.6
• 申請日: 2017-10-31
• 公開（公告）號: CN107908685A
• 公開（公告）日: 2018-04-13
• 發(fā)明（設(shè)計(jì)）人: 宋永紅;李曉玉;張?jiān)?/a>
• 申請（專利權(quán)）人: 西安交通大學(xué)
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06K9/62;G06Q30/06
• 代理公司: 西安智大知識產(chǎn)權(quán)代理事務(wù)所61215
• 代理人: 何會俠

1.一種基于遷移學(xué)習(xí)的多視角商品圖像檢索與識別方法，其特征在于：包括如下步驟：

步驟A：在獲取已有商品列表后，為了獲得每一類產(chǎn)品包裝的全方位外觀信息，根據(jù)商品列表為每一類產(chǎn)品建立多視角圖像基礎(chǔ)庫，產(chǎn)品的多視角圖像是指不同角度下拍攝的產(chǎn)品圖像；借助遷移學(xué)習(xí)技術(shù)，直接使用少量商品圖像數(shù)據(jù)集對在行人再識別Market-1501數(shù)據(jù)集上預(yù)訓(xùn)練過的深度殘差網(wǎng)絡(luò)模型進(jìn)行微調(diào)，然后使用此網(wǎng)絡(luò)對多視角圖像基礎(chǔ)庫中的所有圖片進(jìn)行特征提?。粸榱思铀僦蟮奶卣髌ヅ溥^程，使用主成分分析法對特征降維，并構(gòu)建低維特征庫；根據(jù)特征庫、多視角圖像基礎(chǔ)庫和產(chǎn)品類別名稱的對應(yīng)關(guān)系構(gòu)建映射表；

步驟B：在獲取到待識別的商品圖像后，使用步驟A中已微調(diào)后的網(wǎng)絡(luò)對該圖像提取特征，接著對該特征進(jìn)行降維處理；

步驟C：在產(chǎn)品多視角基礎(chǔ)庫建立完成，并且獲取待識別商品圖片的低維特征之后，計(jì)算待識別商品圖像特征與多視角圖像基礎(chǔ)庫中各圖片特征的歐式距離，通過排序找到距離最近的圖片即為最相似的圖片；接著通過映射表的映射關(guān)系得到待識別圖像所屬商品類別名稱。

2.根據(jù)權(quán)利要求1所述的一種基于遷移學(xué)習(xí)的多視角商品圖像檢索與識別方法，所述步驟A的具體步驟如下：

步驟A01：在獲取已有商品列表后，為了獲得每一類產(chǎn)品包裝的全方位外觀信息，需要為商品列表中的每一類產(chǎn)品建立多視角圖像基礎(chǔ)庫；產(chǎn)品的多視角圖像是指不同角度下拍攝的產(chǎn)品圖像；多視角圖像基礎(chǔ)庫的建立流程為：首先在圖像基礎(chǔ)庫下構(gòu)建“品牌-產(chǎn)品類別-包裝”形式的子庫，然后在每一子庫下存放該類別商品的多視角圖像，其中，圓形包裝和多邊形包裝的多視角商品圖片稍有差異；其中：圓形包裝是指瓶身沒有棱角的包裝，根據(jù)瓶底形狀來判斷，如果瓶底形狀是圓形或者光滑的類圓形狀，則該包裝屬于圓形包裝；多邊形包裝是指瓶身有明顯棱角的包裝，根據(jù)瓶底形狀來判斷，如果瓶底形狀是多邊形的形狀，則該包裝屬于多邊形包裝；

步驟A02：對少量商品圖片進(jìn)行標(biāo)注，制作訓(xùn)練集，接著借助遷移學(xué)習(xí)技術(shù)，將使用行人再識別Market-1501數(shù)據(jù)集預(yù)訓(xùn)練過的深度殘差網(wǎng)絡(luò)模型再在這此訓(xùn)練集上進(jìn)行微調(diào)，然后使用微調(diào)后的模型對多視角圖像基礎(chǔ)庫下各個子庫中的圖片進(jìn)行特征提取，每一張圖片提取出一個2048維特征向量；

步驟A03：由于2048維向量維度過高，不僅不方便存儲，而且影響之后的特征匹配過程的效率，因此，為了提高存儲空間的利用率，減少特征匹配過程中的時間消耗，使用主成分分析法對特征進(jìn)行降維處理，最后，原始的2048維特征向量被130維特征向量取代，并用低維特征構(gòu)建商品的特征庫，每當(dāng)圖像基礎(chǔ)庫更新后，需重新執(zhí)行此步驟；

步驟A04：根據(jù)特征庫、多視角圖像基礎(chǔ)庫和產(chǎn)品類別名稱的對應(yīng)關(guān)系構(gòu)建三張映射表，“標(biāo)簽-商品類別名稱”映射表即基礎(chǔ)庫中已有商品的形如“品牌-產(chǎn)品類別-包裝”的類別名稱以及各類別對應(yīng)的標(biāo)簽、“標(biāo)簽-圖片”映射表即基礎(chǔ)庫中已有的圖片名稱以及該圖片對應(yīng)的產(chǎn)品類別標(biāo)簽和“特征-圖片”映射表即基礎(chǔ)庫中已有的圖片名稱以及該圖片對應(yīng)的特征索引。

3.根據(jù)權(quán)利要求1所述的一種基于遷移學(xué)習(xí)的多視角商品圖像檢索與識別方法，步驟B的具體步驟如下：

步驟B01：建立多視角圖像基礎(chǔ)庫、特征庫和映射表后，對于獲取到的每一張待識別商品圖像，使用步驟A02中微調(diào)后的模型對其進(jìn)行特征提取，每一張圖片提取出一個用2048維向量描述的特征；

步驟B02：接著使用主成分分析法，將每一張待識別圖像的2048維特征向量變換為130維的特征向量。

4.根據(jù)權(quán)利要求1所述的一種基于遷移學(xué)習(xí)的多視角商品圖像檢索與識別方法，步驟C的具體步驟如下：

步驟C01：在產(chǎn)品多視角圖像基礎(chǔ)庫建立完成，并且獲取待識別商品圖片低維特征后，對待識別商品圖像特征與基礎(chǔ)庫中各圖片特征進(jìn)行計(jì)算獲得其歐氏距離，然后通過排序得到與待識別圖片距離最近的圖片，即最相似圖片；

步驟C02：根據(jù)“標(biāo)簽-商品類別名稱”、“標(biāo)簽-圖片”、“特征-圖片”映射表表之間的一一對應(yīng)關(guān)系，通過獲取匹配到的最相似圖片的索引，得到該相似圖片所屬商品名稱，也即待識別商品圖片的商品名稱。