[發明專利]一種基于機器視覺的服裝電子標簽生成方法

有效

• 申請號: 201910327629.X
• 申請日: 2019-04-23
• 公開（公告）號: CN110197200B
• 公開（公告）日: 2022-12-09
• 發明（設計）人: 高世宇;齊潔;蘇耀斌;馮世陽;孫浩;周雪;姚劼;王辰;吳雨晨;杜杰;邱玥;朱行凱;李星儀
• 申請（專利權）人: 東華大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/74;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 上海申匯專利代理有限公司 31001
• 代理人: 翁若瑩;柏子雵

本發明涉及一種基于機器視覺的服裝電子標簽生成方法，其特征在于，包括以下步驟：建立FashionNet服裝特性多維度預測網絡，FashionNet服裝特性多維度預測網絡包括向前傳播部分及向后傳播部分；利用DeepFashion數據集對FashionNet服裝特性多維度預測網絡進行訓練和測試；每種特性對應的可能類別數隨預測結果和該服裝此特性類別的匹配程度密切相關，選取兩種可能正確概率最大的類和原始預測結果供用戶選擇形成該件服裝的電子標簽。本發明提供的技術方案可以為服裝推薦系統提供服裝的標簽輸出，同時，構建預測輸錯問題下的視覺相似度矩陣，為用戶提供一種好的標簽修改途徑。

技術領域

本發明通過服裝特性分類網絡以及FashionNet服裝特性多維度預測網絡輸 出服裝的標簽特征，屬于圖像處理技術領域。

背景技術

隨著人們物質生活的逐漸豐富，我們擁有了越來越多樣化的服裝，但我們缺 少一種能將服裝識別后，轉變為標簽保存在數據庫中的技術。這種技術的運用將 大大提高人們對家用以及商用服裝管理的水平，更進一步，為日后服裝的智能化 搭配推薦奠定基礎。

發明內容

本發明的目的是：提供一種將服裝識別后轉變為標簽的方法，使得標簽可以 保存在數據庫中。

為了達到上述目的，本發明的技術方案是提供了一種基于機器視覺的服裝電 子標簽生成方法，其特征在于，包括以下步驟：

步驟1、建立FashionNet服裝特性多維度預測網絡，FashionNet服裝特性 多維度預測網絡包括向前傳播部分及向后傳播部分，其中：

向前傳播部分包括包含3個分支層和若干個共享卷積層，其中，第1個分支 層為Pose分支層，用于預測服裝特征點是否存在和特征點位置；第2個分支層 為局部特征分支層，對Pose分支層中確定的服裝特征點進行池化運算，再由卷 積層運算后得到服裝特征點的局部特征矩陣；第3個分支層為全局特征分支層， 對整個服裝圖像輸入卷積神經網絡層，得到整個服裝的全局特征；

向后傳播部分包含4種損失函數，分別存在于特征點定位、特征點存在性判 別和服裝類別預測、特性預測、服裝圖像對照組學習4個向前傳播階段，這4 種損失函數在保證收斂的前提下以迭代方式進行訓練；

步驟2、利用DeepFashion數據集對FashionNet服裝特性多維度預測網絡 進行訓練和測試，在進行測試時，對FashionNet服裝特性多維度預測網絡預測 過程中出現的錯誤結果定義了視覺相似度權重值矩陣，用來描述同一服裝特性下 不同類的相關程度，視覺相似度權重值矩陣表征了：當預測結果為某一預測類時， 除此類外的其他各非預測類恰好為這一服裝固有類的可能性程度，對該可能性程 度進行降序排序，從而得到與預測結果不同的按照概率從大到小排列的所有可能 結果；

步驟3、當前待預測服裝經過FashionNet服裝特性多維度預測網絡和視覺 相似度矩陣的運算后，得到和當前待預測服裝包含的5種特性相匹配的若干個可 能類別，5種特性分別為紋理、面料、顏色、風格、類別，每種特性對應的可能 類別數隨預測結果和該服裝此特性類別的匹配程度密切相關，選取兩種可能正確 概率最大的類和原始預測結果供用戶選擇，對于某一特性，用戶從3個可能類中 選擇1個，5種特性均確定唯一類別后即形成該件服裝的電子標簽。

優選地，步驟1中，所述FashionNet服裝特性多維度預測網絡的Pose分支 層包括landmark池化層，landmark池化層對輸入的服裝圖像上的的某一塊區域 進行特征的提取，這部分的特征稱之為局部特征，將局部特征分支層和全局特征 分支層的特征按通道組合在一起之后經過一個全連接層再編碼一次，然后基于 landmark池化層得到的局部特征對屬性、類別標簽進行分類學習，同時使用三 元組loss進行輔助學習。