[發明專利]一種基于異質圖神經網絡的時尚套裝兼容性建模方法

在審

• 申請號: 202111149142.0
• 申請日: 2021-09-29
• 公開（公告）號: CN114444369A
• 公開（公告）日: 2022-05-06
• 發明（設計）人: 易賢康;魯鳴鳴;謝家豪
• 申請（專利權）人: 中南大學
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06N3/04;G06N3/08;G06Q30/06
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于異質圖神經網絡的時尚套裝兼容性建模方法，其特征在于包括下列步驟：

步驟1)使用同類替換，對正樣本套裝中的一個或若干個服裝單品進行替換，構造時尚套裝的負樣本訓練集。

步驟2)基于該數據集，將每一套服裝的圖像放入一個訓練好的resnet18預訓練模型中，得到每一件時尚服裝的特征向量表達。

步驟3)為全體時尚服裝構造了一個時尚圖(Fashion Graph)，以上一步中的特征向量表達作為節點的特征，其中每個節點代表一種服裝類型，每條邊代表節點之間的交互。

步驟4)使用難例采樣的訓練策略，對模型的訓練集進行訓練，在訓練階段出現次數少的節點，將更有可能被激活進行訓練。

步驟5)使用一個異質圖神經網絡(Relational Graph ConvolutionalNetworks，RGCN)來建模節點之間的交互并學習節點與子圖的表示，最后，經過神經網絡的輸出層，得到時尚服裝的兼容性預測結果。

2.根據權利要求1所述，其特征為所述步驟1)基于同類替換的原則，構造時尚套裝訓練集中的負樣本集。

3.根據權利要求1所述，其特征為所述步驟2)使用預訓練好的resnet18深度神經網絡，提取網絡最后一層神經元，得到每一件時尚服裝的特征向量表達。

4.根據權利要求1所述，其特征為所述步驟3)將數據集中的服裝分為8大類，構造一個包含89個節點的時尚異質圖，每個節點代表一個服裝小類別。而兩個節點之間的邊，則由兩個節點在數據集中的共現頻率決定。

5.根據權利要求1所述，其特征為所述步驟4)使用難例采樣策略，優化模型的訓練過程，在訓練階段出現次數少的節點將得到更多的訓練機會。

6.根據權利要求1所述，其特征為所述步驟5)使用異質圖神經網絡RGCN，學習時尚套裝對應的子圖的向量表達，經過sigmoid函數結合MSE loss組成的神經網絡輸出層，得到時尚套裝的兼容性預測結果。