[發(fā)明專利]一種基于多興趣膠囊網(wǎng)絡(luò)的會話推薦方法

在審

• 申請?zhí)枺?/td>: 202110034127.5
• 申請日: 2021-01-12
• 公開（公告）號: CN112765461A
• 公開（公告）日: 2021-05-07
• 發(fā)明（設(shè)計）人: 顧盼
• 申請（專利權(quán)）人: 中國計量大學(xué)
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于多興趣膠囊網(wǎng)絡(luò)的會話推薦方法，其特征在于：

根據(jù)用戶當(dāng)前會話中的物品序列，采用多興趣膠囊網(wǎng)絡(luò)生成用戶的多興趣表征。對于一個用戶會話u，可以表示為X＝[x₁,…,x_l]，其中是物品向量特征，通過模型訓(xùn)練得到，d是特征向量長度；采用多興趣膠囊網(wǎng)絡(luò)從物品序列中抽取出用戶多興趣，多興趣膠囊網(wǎng)絡(luò)的低層(low layer)是物品，高層(high layer)是興趣；得到用戶多興趣表征的偽代碼為：

其中，x_i為會話中第i個物品向量表征，為物品向第j個興趣空間映射的轉(zhuǎn)移矩陣，用戶興趣的個數(shù)參數(shù)為M；方法是膠囊網(wǎng)絡(luò)中的動態(tài)路由部分，輸入?yún)?shù)是第i個物品向量表征x_i映射到第j個興趣空間的向量表征，輸入?yún)?shù)r是動態(tài)路由算法的迭代次數(shù)；方法的輸出參數(shù)v_j代表用戶多興趣向量表征；b_ij是第i個物品向量表征到第j個興趣的連接參數(shù)，c_ij是參數(shù)b_ij歸一化后的連接參數(shù)；softmax_i為softmax函數(shù)；AGGREGATE_i函數(shù)表示將物品向量聚合成興趣向量，本方法采用多興趣門控循環(huán)單元(IGRU)網(wǎng)絡(luò)；squash是膠囊網(wǎng)絡(luò)中常用的squash向量激活函數(shù)，公式為

根據(jù)用戶多興趣表征，預(yù)測用戶對目標(biāo)物品的點(diǎn)擊率；根據(jù)用戶興趣表征v_j，預(yù)測目標(biāo)物品x_new的點(diǎn)擊率；給定用戶興趣膠囊v_jj，計算用戶點(diǎn)擊目標(biāo)物品x_new的概率為：

其中，v_j為用戶的第j個興趣表征，x_new為目標(biāo)物品向量表征；是用戶對目標(biāo)物品的點(diǎn)擊率預(yù)測值；參數(shù)和參數(shù)控制每個興趣表征的權(quán)重，參數(shù)是偏置參數(shù)；和是轉(zhuǎn)移矩陣，是偏置向量，b₂是偏置標(biāo)量；σ是sigmoid激活函數(shù)；

根據(jù)模型特性，設(shè)計損失函數(shù)；通過用戶對目標(biāo)物品的點(diǎn)擊率預(yù)測值計算預(yù)測值和真實值y之間的誤差，進(jìn)而使用誤差來更新模型參數(shù)；我們采用交叉熵?fù)p失函數(shù)來指導(dǎo)模型參數(shù)的更新過程：

其中，y∈{0,1}是真實值，代表用戶是否點(diǎn)擊了目標(biāo)物品；σ是sigmoid函數(shù)；我們采用Adam優(yōu)化器更新模型參數(shù)。

2.根據(jù)權(quán)利要求1所述的一種基于多興趣膠囊網(wǎng)絡(luò)的會話推薦方法，其中，所述中聚合函數(shù)AGGREGATE_i所采用的多興趣門控循環(huán)單元網(wǎng)絡(luò)(IGRU)公式具體為：

g_i＝RELU(c_i-∈)·c_i·z_i

其中，對于所有的興趣向量，聚合函數(shù)AGGREGATE_i的結(jié)構(gòu)是相同的，且參數(shù)不共享；所以為了表達(dá)方便以上公式省略興趣的下標(biāo)j；r_i是重置門(reset gate)，和是控制重置門r_i的參數(shù)；z_i為更新門(update gate)，和是控制更新門z_i的參數(shù)，g_i是興趣相關(guān)的更新門(interest-specific update gate)，在更新門z_i的基礎(chǔ)上增加對當(dāng)前層信息輸入的控制；公式g_i＝RELU(c_i-∈)·c_i·z_i中的∈是閾值參數(shù)；RELU是RELU激活函數(shù)，具體公式為RELU(c_i-∈)＝max(0,c_i-∈)；當(dāng)c_i∈，也就是當(dāng)前層的物品輸入和當(dāng)前興趣不相關(guān)，那么g_i＝0，當(dāng)前層的輸入信息被忽視，繼續(xù)傳遞上一層的隱藏層向量h_i-1；最后一層的隱藏層輸出h_i就是使用激活函數(shù)squash前的用戶興趣向量表征。