[發(fā)明專利]一種基于多模態(tài)特征交互深度融合推薦方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010872372.9
• 申請(qǐng)日: 2020-08-26
• 公開（公告）號(hào): CN111949884B
• 公開（公告）日: 2022-06-21
• 發(fā)明（設(shè)計(jì)）人: 羅笑南;宋秀來;鐘艷如;甘才軍;曹良斌;藍(lán)如師;李一媛
• 申請(qǐng)（專利權(quán)）人: 桂林電子科技大學(xué)
• 主分類號(hào): G06F16/9535
• 分類號(hào): G06F16/9535;G06K9/62;G06N3/04
• 代理公司: 桂林市華杰專利商標(biāo)事務(wù)所有限責(zé)任公司 45112
• 代理人: 楊雪梅

本發(fā)明公開一種基于多模態(tài)特征交互深度融合推薦方法，該方法在xdeepfm模型的基礎(chǔ)上，提出了一種融合多種模型的多模態(tài)特征交互深度融合模型。該模型將多個(gè)模型進(jìn)行結(jié)合，并且將多模態(tài)特征進(jìn)行融合，不僅能同時(shí)以顯式和隱式的方式自動(dòng)學(xué)習(xí)高階的特征交互，使特征交互發(fā)生在向量級(jí)，還兼具記憶與泛化的學(xué)習(xí)能力，并且可以進(jìn)行多任務(wù)訓(xùn)練。該方法推薦精度高，并提升了推薦的多模態(tài)特征融合的效果。

技術(shù)領(lǐng)域

本發(fā)明涉及推薦算法技術(shù)領(lǐng)域，具體是一種基于多模態(tài)特征交互深度融合推薦方法。

背景技術(shù)

目前，針對(duì)用戶進(jìn)行個(gè)性化推薦，在特征構(gòu)建需要工程師花費(fèi)巨大的人力，特征組合是許多機(jī)器學(xué)習(xí)建模過程中遇到的問題，如果對(duì)特征直接建模，很有可能忽略掉特征與特征之間的關(guān)聯(lián)信息，一次可以通過構(gòu)建新的交叉特征這一特征組合方式提高模型的效果。高維的稀疏矩陣是實(shí)際工程中常見的問題，并且直接導(dǎo)致計(jì)算量過大，特征權(quán)值更新緩慢。

特征(features)的構(gòu)建對(duì)推薦系統(tǒng)來說至關(guān)重要，直接關(guān)系到推薦系統(tǒng)的精準(zhǔn)性。在傳統(tǒng)的推薦系統(tǒng)中，高階交叉特征通常由工程師手工提取，不僅人力成本高昂、維度空間極大，而且不可泛化。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，而提供一種基于多模態(tài)特征交互深度融合推薦方法，該方法推薦精度更高，且更好的挖掘用戶興趣愛好。

實(shí)現(xiàn)本發(fā)明目的的技術(shù)方案是：

一種基于多模態(tài)特征交互深度融合推薦方法，包括如下步驟：

1)從用戶行為日志中提取用戶和項(xiàng)的行為數(shù)據(jù)，并將相關(guān)屬性數(shù)據(jù)進(jìn)行提取，組成可用的數(shù)據(jù)集；

2)將步驟1)得到的數(shù)據(jù)集，進(jìn)行預(yù)處理，得到相關(guān)有用的數(shù)據(jù)集，分析數(shù)據(jù)集的分布，得出數(shù)據(jù)集的規(guī)律；

3)根據(jù)步驟2)探索到數(shù)據(jù)分布和規(guī)律，對(duì)各個(gè)模態(tài)的數(shù)據(jù)類型進(jìn)行特征提取，做特征工程，包括進(jìn)行用戶行為特征提取、文本特征提取、音頻特征提取和視頻特征提取；并對(duì)提取的不同模態(tài)特征融合，進(jìn)行多模態(tài)特征融合，進(jìn)行交互探索高階特征，用XGBbosst算法選出有效的特征數(shù)據(jù)；

4)根據(jù)步驟3)得到基礎(chǔ)特征和高階特征數(shù)據(jù)，將數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，將提取的特征數(shù)據(jù)輸入到融合模型中，采用訓(xùn)練集和驗(yàn)證集驗(yàn)證模型效果，選出效果最好的融合模型；

5)根據(jù)步驟4)選定的最佳融合模型，將測(cè)試集數(shù)據(jù)輸入到模型中，得到用戶對(duì)項(xiàng)目的點(diǎn)擊率，根據(jù)點(diǎn)擊率進(jìn)行分類，將分類好的數(shù)據(jù)推薦給相應(yīng)的用戶。

所述的多模態(tài)特征融合，是將基本數(shù)據(jù)、文本數(shù)據(jù)、視頻數(shù)據(jù)和音頻數(shù)據(jù)類型進(jìn)行處理并將其融合得到可輸入到模型中的數(shù)據(jù)，在數(shù)據(jù)類型中，基本數(shù)據(jù)包括用戶的年齡、城所在市；文件數(shù)據(jù)包括視頻的標(biāo)題、描述；視頻數(shù)據(jù)包括是否有人臉數(shù)據(jù)；音頻數(shù)據(jù)包括該視頻的背景音樂。

步驟3)中，所述的進(jìn)行交互探索高階特征，具體方法如下：

用FM算法進(jìn)行特征組合，通過兩兩特征組合，引入交叉項(xiàng)特征即二階特征，提高模型得分通過引入隱向量，對(duì)參數(shù)矩陣進(jìn)行分解，完成特征參數(shù)的估計(jì)；所述的FM算法為三層網(wǎng)絡(luò)，它的核心部分是第二層的FM layer，F(xiàn)M layer由兩部分組成，一部分是lr部分，令一部分是inner product部分，具體公式如下：

其中，B表示特征交互的值，w₀是偏移量，w_i是輸入特征的參數(shù)，v_i,v_j是輸入特征i、j間的交叉參數(shù)，x_i是第i個(gè)特征值，x_j是第j個(gè)特征值，v_i是k維向量。

步驟4)中，所述的融合模型，設(shè)計(jì)方法如下：