[發明專利]一種基于多模態特征交互深度融合推薦方法

有效

• 申請號: 202010872372.9
• 申請日: 2020-08-26
• 公開（公告）號: CN111949884B
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 羅笑南;宋秀來;鐘艷如;甘才軍;曹良斌;藍如師;李一媛
• 申請（專利權）人: 桂林電子科技大學
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06K9/62;G06N3/04
• 代理公司: 桂林市華杰專利商標事務所有限責任公司 45112
• 代理人: 楊雪梅

1.一種基于多模態特征交互深度融合推薦方法，其特征在于，包括如下步驟：

1)從用戶行為日志中提取用戶和項的行為數據，并將相關屬性數據進行提取，組成可用的數據集；

2)將步驟1)得到的數據集，進行預處理，得到相關有用的數據集，分析數據集的分布，得出數據集的規律；

3)根據步驟2)探索到數據分布和規律，對各個模態的數據類型進行特征提取，做特征工程，包括進行用戶行為特征提取、文本特征提取、音頻特征提取和視頻特征提取；并對提取的不同模態特征融合，進行多模態特征融合，進行交互探索高階特征，用XGBbosst算法選出有效的特征數據；

4)根據步驟3)得到基礎特征和高階特征數據，將數據集劃分為訓練集、驗證集和測試集，將提取的特征數據輸入到融合模型中，采用訓練集和驗證集驗證模型效果，選出效果最好的融合模型；

5)根據步驟4)選定的最佳融合模型，將測試集數據輸入到模型中，得到用戶對項目的點擊率，根據點擊率進行分類，將分類好的數據推薦給相應的用戶；

步驟4)中，所述的融合模型，設計方法如下：

4-1)采用一個修改后的xDeepFM模型，該模型可以接受多模態特征作為輸入；

4-2)指定如何整合所有修改后的模型以形成融合模型；

4-3)基于xDeepFM模型，添加用于提取標題、音頻和視頻功能的模塊，先將稀疏用戶交互數據轉換為稀疏特征，然后將密集用戶交互數據轉換為密集特征；

4-4)將標題數據轉換為序列特征，使用嵌入層來減小這些特征的維數并獲得嵌入的特征向量，嵌入層的結果為寬的級聯向量，表示如下：

e＝[e₁,e₂,...,e_m]

其中e_m是級聯向量值；

4-5)步驟4-4)獲得的特征向量饋入三個模塊：線性層，壓縮交互網絡CIN層和普通深度神經網絡DNN層；CIN層的輸入來自Embedding層，假設有m個field，每個field的embeddingvector維度為D，則輸入表示為矩陣X⁰∈R^m*D，令表示第k層的輸出，其中Hk表示第k層的向量個數，向量的維度始終為D，保持和輸入層一致，具體計算方式如下：

其中X^k_h,*表示第k層的輸出，1≤h≤H_k，表示第k層的第h個向量的權值矩陣，表示第k-1層特征向量第i個的特征值，是第0層特征向量第j個的特征值，o表示Hadamard乘積；

4-6)對于視頻和音頻數據，首先使用主成分分析PCA提取原始特征的主成分并減小特征尺寸；

4-7)白化模型來減少特征之間的相關性，然后使用嵌入層獲取音頻和視頻特征的嵌入特征向量；最后將嵌入的音頻特征向量和視頻特征向量饋入兩個不同的純DNN層中，以進行進一步的特征提取，白化模型的輸出是：

其中A是白化模型的輸出，σ是sigmoid函數，是線性層的權值，是dnn層的權值，是cin層的權值，a是原始特征，和p分別是dnn層特征輸出和cin層輸出，b為可學習的參數。

2.根據權利要求1所述的一種基于多模態特征交互深度融合推薦方法，其特征在于，所述的多模態特征融合，是將基本數據、文本數據、視頻數據和音頻數據類型進行處理并將其融合得到可輸入到模型中的數據，在數據類型中，基本數據包括用戶的年齡、城所在市；文件數據包括視頻的標題、描述；視頻數據包括是否有人臉數據；音頻數據包括該視頻的背景音樂。