[發明專利]一種面向人物交互的多重語義融合少樣本分類方法

有效

• 申請號: 201910301393.2
• 申請日: 2019-04-15
• 公開（公告）號: CN110097094B
• 公開（公告）日: 2023-06-13
• 發明（設計）人: 冀中;劉西瑤
• 申請（專利權）人: 天津大學
• 主分類號: G06F18/214
• 分類號: G06F18/214;G06F18/25
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 杜文茹

1.一種面向人物交互的多重語義融合少樣本分類方法，其特征在于，包括如下步驟：

1)從元訓練集的支持集中隨機取得不同類別樣本的視覺特征，分別記為x₁，x₂，…，x_i，…，x_w，其中，w為類別數；

2)依次將不同類別樣本的視覺特征送到用于感知人物交互關系的第一多重語義融合網絡g_θ中，分別對構成語義融合的名詞部分和動詞部分進行融合，最后得到不同類別樣本的多重語義融合后的特征向量

所述的第一多重語義融合網絡g_θ的工作過程包括：

(2.1)在輸入不同類別樣本的視覺特征時，加入名詞和動詞的文本特征，分別使用編碼器E₁和E₂，對第i類樣本的動詞和名詞的語義信息n_i,v_i編碼，分別得到第i類樣本的名詞編碼信息Tn_i和動詞編碼信息Tv_i：

Tn_i＝E₁(n_i)????????????????????????????????(1)

Tv_i＝E₂(v_i)???????????????????????????????(2)；

(2.2)進行名詞語義信息融合，即依次將不同類別樣本的視覺特征分別得到第i類樣本的名詞編碼信息Tn_i和動詞編碼信息Tv_i和相對應的名詞編碼信息Tn₁，Tn₂，…，Tn_i，…，Tn_w送入第一生成器G₁中，生成同一語義空間的名詞融合特征

(2.3)為了防止名詞融合特征對動詞融合特征進行干擾，進行動詞語義信息融合前，分別將不同類別樣本的視覺特征x_i減去對應的名詞融合特征得到不同類別樣本的剩余特征信息x'_i：

(2.4)進行動詞語義信息融合，即依次將不同類別樣本的剩余特征信息x₁，x₂，…，x_i，…，x_w和相對應的動詞編碼信息Tv₁，Tv₂，…，Tv_i，…，Tv_w送入第二生成器G₂中，生成同一語義空間的不同類別樣本的動詞融合特征

(2.5)將不同類別樣本的名詞融合特征動詞融合特征和不同類別樣本的剩余特征信息x'_i相加，得到不同類別樣本的多重語義融合后的特征向量

3)從元訓練集的查詢集取得樣本的視覺特征x_Q，送到用于感知人物交互關系的第二多重語義融合網絡f_θ中，利用自身的特征進行融合，得到多重語義融合后的特征向量

所述的第二多重語義融合網絡f_θ的工作過程包括：

(3.1)從元訓練集的查詢集取得樣本的視覺特征x_Q時，沒有對應的語義信息，因而直接使用訓練好的第一生成器G₁，融合樣本的視覺特征x_Q本身，得到偽名詞語義信息融合特征

(3.2)在進行動詞語義信息融合前，將樣本的視覺特征x_Q減去偽名詞語義信息融合特征得到剩余特征信息x'_Q：

(3.3)使用訓練好的第二生成器G₂，在剩余特征信息x'_Q上進行動詞的語義信息融合，得到偽動詞語義信息融合特征

(3.4)將偽名詞語義信息融合特征偽動詞語義信息融合特征和剩余特征信息x'_Q相加，得到多重語義融合后的特征向量

4)依次將元訓練集的查詢集和支持集的視覺特征輸入到第一多重語義融合網絡g_θ和第二多重語義融合網絡f_θ中，多重語義融合后的特征向量和多重語義融合后的特征向量x～_Q按照如下公式計算屬于各個類別的概率：

其中函數d為歐氏距離的度量函數；exp為自然常數e為底的指數函數；

5)設定目標函數公式如下：

其中y_Q為查詢集的視覺特征x_Q的真實標簽；

6)訓練階段，根據目標函數公式，使用Adam優化器訓練第一多重語義融合網絡g_θ和第二多重語義融合網絡f_θ的內部參數，直至目標函數值趨于穩定；

7)測試階段，依次將元測試集的查詢集和支持集的視覺特征輸入到訓練好的第一多重語義融合網絡g_θ和第二多重語義融合網絡f_θ中，得到多重語義融合后的特征向量和多重語義融合后的特征向量按照公式(11)計算屬于各個類別的概率，將計算得到的概率中最大的概率所對應的類別，作為查詢集視覺特征的類別。