[發明專利]融合多模態信息及權重張量的用戶身份關聯方法

有效

• 申請號: 202110607064.8
• 申請日: 2021-05-28
• 公開（公告）號: CN113222775B
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 羅森林;關迎丹;潘麗敏;王沛冉;吳舟婷
• 申請（專利權）人: 北京理工大學
• 主分類號: G06Q50/00
• 分類號: G06Q50/00;G06K9/62;G06N3/04;G06N3/08;G06V10/80;G06V10/74;G06V10/82
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.融合多模態信息及權重張量的用戶身份關聯方法，其特征在于所述方法包括如下步驟：

步驟1，收集源社交網絡和目標社交網絡中包括用戶頭像、用戶公開的屬性信息、用戶發布的文本內容三種模態信息并進行預處理，構建社交網絡用戶數據集；

步驟2，使用規則匹配方法，定義初始匹配規則獲得初始用戶匹配矩陣，定義候選匹配規則獲得候選集過濾器；

步驟3，提取用戶多模態特征后，通過Transformer編碼器和改進的張量融合方法得到用戶多模態特征的聯合嵌入；

步驟3.1，每個用戶樣本使用預訓練的VGG-NET16模型提取用戶的頭像圖片特征，使用Bi-LSTM提取用戶的屬性向量和每月興趣變化標簽向量的語義特征；

步驟3.2，每個用戶樣本提取的特征使用Transformer編碼器獲得多模態特征嵌入，通過改進的基于權重張量分解的張量融合的方法獲得三種模態z₁、z₂、z₃的聯合嵌入e，其中改進的基于權重張量分解的張量融合公式如下：

其中，表示Kronnecker積，為編碼器權重分解的張量，張量的分解的r取值為z₁、z₂、z₃的矩陣方差；

步驟4，根據用戶匹配矩陣構建訓練所需的三元組樣本，使用Triplet Network結構迭代更新Transformer編碼器權值，根據兩個用戶的聯合嵌入表示相似性和設定的閾值判斷兩個用戶是否匹配，輸出最終用戶匹配矩陣；

步驟4.1，按照迭代次數分批處理樣本數據，每一次迭代，選取用戶匹配矩陣Q中的一個用戶匹配對(v^s，v^t)，選取源社交網絡用戶v^s作為Triplet Network的錨樣本，目標社交網絡用戶v^t作為triplet network的正樣本，每一組錨樣本-正樣本都在v^s候選集R(v^s)中進行k次的隨機負樣本v^t-選取，這樣就獲得了k個訓練所需的三元組樣本；

步驟4.2，用triplet loss損失函數公式更新迭代Transformer編碼器權值，其公式為：

triplet_loss＝max(0，M+s(e^s，e^t)-s(e^s，e^t-))

其中，e^s表示錨樣本v^s的多模態聯合嵌入，e^t表示正樣本v^t的多模態聯合嵌入，e^t-表示負樣本v^t-的多模態聯合嵌入，M為設定邊界值，s(·，·)為余弦相似度計算公式：

步驟4.3，一次迭代后，將源社交網絡用戶集中的待匹配用戶v^s和目標社交網絡的用戶集候選集R(v^s)＝Filter(v^t)的候選用戶v^t的多模態特征輸入編碼器得到用戶的聯合嵌入表示，模型使用余弦相似度計算公式計算兩個用戶的聯合嵌入表示的相似度，根據設定的閾值判斷兩個用戶是否匹配；

步驟4.4，將輸出結果加入到用戶匹配矩陣Q，繼續進行下一次迭代，直到triplet loss穩定在一個低值且不再有新用戶匹配對出現；

步驟4.5，輸出最終用戶匹配矩陣Q，查詢特定用戶時，使用節點圖繪制每個用戶的內部網絡關系和匹配用戶關系，并顯示用戶的多模態信息。

2.根據權利要求1所述的融合多模態信息及權重張量的用戶身份關聯方法，其特征在于：步驟1中根據用戶發布的文本的時間戳，以一個月為粒度劃分發布的文本內容，構建用戶的h維的每月興趣變化標簽向量作為用戶的個人興趣模態特征。