[發明專利]一種基于機器視覺的服裝電子標簽生成方法

有效

• 申請號: 201910327629.X
• 申請日: 2019-04-23
• 公開（公告）號: CN110197200B
• 公開（公告）日: 2022-12-09
• 發明（設計）人: 高世宇;齊潔;蘇耀斌;馮世陽;孫浩;周雪;姚劼;王辰;吳雨晨;杜杰;邱玥;朱行凱;李星儀
• 申請（專利權）人: 東華大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/74;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 上海申匯專利代理有限公司 31001
• 代理人: 翁若瑩;柏子雵

1.一種基于機器視覺的服裝電子標簽生成方法，其特征在于，包括以下步驟：

步驟1、建立FashionNet服裝特性多維度預測網絡，FashionNet服裝特性多維度預測網絡包括向前傳播部分及向后傳播部分，其中：

向前傳播部分包括包含3個分支層和若干個共享卷積層，其中，第1個分支層為Pose分支層，用于預測服裝特征點是否存在和特征點位置；第2個分支層為局部特征分支層，對Pose分支層中確定的服裝特征點進行池化運算，再由卷積層運算后得到服裝特征點的局部特征矩陣；第3個分支層為全局特征分支層，對整個服裝圖像輸入卷積神經網絡層，得到整個服裝的全局特征；

向后傳播部分包含4種損失函數，分別存在于特征點定位、特征點存在性判別和服裝類別預測、特性預測、服裝圖像對照組學習4個向后 傳播階段，這4種損失函數在保證收斂的前提下以迭代方式進行訓練；

步驟2、利用DeepFashion數據集對FashionNet服裝特性多維度預測網絡進行訓練和測試，在進行測試時，對FashionNet服裝特性多維度預測網絡預測過程中出現的錯誤結果定義了視覺相似度權重值矩陣，用來描述同一服裝特性下不同類的相關程度，視覺相似度權重值矩陣表征了：當預測結果為某一預測類時，除此類外的其他各非預測類恰好為這一服裝固有類的可能性程度，對該可能性程度進行降序排序，從而得到與預測結果不同的按照概率從大到小排列的所有可能結果；

步驟3、當前待預測服裝經過FashionNet服裝特性多維度預測網絡和視覺相似度矩陣的運算后，得到和當前待預測服裝包含的5種特性相匹配的若干個可能類別，5種特性分別為紋理、面料、顏色、風格、類別，每種特性對應的可能類別數隨預測結果和該服裝此特性類別的匹配程度密切相關，選取兩種可能正確概率最大的類和原始預測結果供用戶選擇，對于某一特性，用戶從3個可能類中選擇1個，5種特性均確定唯一類別后即形成該件服裝的電子標簽。

2.如權利要求1所述的一種基于機器視覺的服裝電子標簽生成方法，其特征在于，步驟1中，所述FashionNet服裝特性多維度預測網絡的Pose分支層包括landmark池化層，landmark池化層對輸入的服裝圖像上的的某一塊區域進行特征的提取，這部分的特征稱之為局部特征，將局部特征分支層和全局特征分支層的特征按通道組合在一起之后經過一個全連接層再編碼一次，然后基于landmark池化層得到的局部特征對屬性、類別標簽進行分類學習，同時使用三元組loss進行輔助學習。