[發明專利]一種基于異質圖神經網絡的時尚套裝兼容性建模方法

在審

• 申請號: 202111149142.0
• 申請日: 2021-09-29
• 公開（公告）號: CN114444369A
• 公開（公告）日: 2022-05-06
• 發明（設計）人: 易賢康;魯鳴鳴;謝家豪
• 申請（專利權）人: 中南大學
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06N3/04;G06N3/08;G06Q30/06
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提出了一種基于異質圖神經網絡的時尚套裝兼容性建模方法。該模型通過將時尚套裝建模成一個異質時尚圖，使用RGCN進行圖卷積得到節點的嵌入向量，以進行套裝的兼容性預測，并且采用了難例采樣的策略，有效緩解了服裝類別數量不均衡的問題。為了評估我們提出的模型，我們進行了廣泛而深入的實驗，證明了我們的模型的有效性。

技術領域

本發明屬于時尚推薦研究領域，尤其涉及一種使用深度學習模型對時尚套裝的視覺兼容性做出預測的領域。

背景技術

隨著人工智能的發展，用人工智能處理時尚大數據已經成為計算機科學家們令人興奮的挑戰，在過去幾年里，關于時尚推薦的研究在計算機視覺、機器學習和多媒體社區中受到越來越多的關注。

在早期，成對服裝的兼容性學習的研究遵循了將服裝映射到一個共同的潛在兼容空間并估計服裝的風格向量之間的距離的思想。比如，Chen,L.等人[1]使用了一個混合類別度量學習模型，將成對的服裝映射到一個共同的度量空間中，以其在度量空間中的距離反映這一對服裝之間的兼容性匹配度。最近，一些研究提出將服裝映射到幾個潛在的視覺空間中來建模服裝的兼容性，并共同對這些潛在空間中的距離進行建模，從而測量服裝在不同方面的兼容性。He,R.,Packer,C.等人[2]提出將服裝映射到不同的度量空間中，并提出了一個新穎的觀點：互相搭配的兩件服裝肯定存在某些方面的特征相似而某些方面特征不相似的情況。然而，上述方法往往使相同類別的項目在學習的潛在視覺空間中接近。因此，一些研究提出添加分類信息來改進服裝圖像的嵌入學習。另一方面，大多數的兼容性建模都依賴于數據驅動的方法，而忽視了時尚領域的知識。為了解決這一不足，Song 等人[3]通過引入時尚領域已經積累的豐富而有價值的搭配規則，對兼容性建模方法進行了新的探索。

發明內容

發明目的：為了實現對時尚套裝的整體兼容性進行建模，并兼顧時尚套裝中不同單品之間的多種不同類型的關系，本發明提出了一種基于異質圖神經網絡的時尚套裝兼容性建模方法。首先，使用預訓練好的resnet18神經網絡提取時尚套裝圖像的向量表達。然后為全體時尚服裝構造了一個時尚圖(Fashion Graph)，以上一步中的特征向量表達作為節點的特征。最后使用一個異質圖神經網絡來建模節點之間的交互并學習節點與子圖的表示，經過神經網絡的輸出層，得到時尚服裝的兼容性預測結果。

技術方案：為實現上述目的，本發明采用的技術方案為：

一種基于異質圖神經網絡的時尚套裝兼容性建模方法，包括以下步驟：

步驟1)使用同類替換，對正樣本套裝中的一個或若干個服裝單品進行替換，構造時尚套裝的負樣本訓練集。

步驟2)基于該數據集，將每一套服裝的圖像放入一個訓練好的resnet18預訓練模型中，得到每一件時尚服裝的特征向量表達。

步驟3)為全體時尚服裝構造了一個時尚圖(Fashion Graph)，以上一步中的特征向量表達作為節點的特征，其中每個節點代表一種服裝類型，每條邊代表節點之間的交互。

步驟4)使用難例采樣的訓練策略，對模型的訓練集進行訓練，在訓練階段出現次數少的節點，將更有可能被激活進行訓練。

步驟5)使用一個異質圖神經網絡(Relational Graph Convolutional Networks，RGCN)來建模節點之間的交互并學習節點與子圖的表示，最后，經過神經網絡的輸出層，得到時尚服裝的兼容性預測結果。

有益效果：

1)本發明提出了一種新的基于異質圖神經網絡的時尚套裝兼容性建模方法。該方法相比以往的兼容性建模方法，能更具細粒度地建模不同類型節點之間的交互，對包含復雜樣本數據集的魯棒性更強。

2)本發明采用難例采樣的訓練策略，有效緩解了服裝類別數量不均衡的問題。

附圖說明