[發(fā)明專利]一種基于多興趣重復(fù)網(wǎng)絡(luò)的會(huì)話推薦方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110197639.3
• 申請(qǐng)日: 2021-02-22
• 公開（公告）號(hào): CN112905886B
• 公開（公告）日: 2022-02-08
• 發(fā)明（設(shè)計(jì)）人: 顧盼
• 申請(qǐng)（專利權(quán)）人: 中國(guó)計(jì)量大學(xué)
• 主分類號(hào): G06F16/9535
• 分類號(hào): G06F16/9535;G06F17/18;G06N3/04;G06N3/08;G06Q30/02;G06Q30/06
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種基于多興趣重復(fù)網(wǎng)絡(luò)的會(huì)話推薦方法，其特征在于：

根據(jù)用戶當(dāng)前交互會(huì)話序列，得到用戶當(dāng)前多興趣表征；用戶當(dāng)前交互的會(huì)話表示為S_T＝{x₁，x₂，…，x_τ，…，x_t}，其中，x_τ代表用戶交互的第τ個(gè)物品，T表示當(dāng)前會(huì)話的時(shí)間段下標(biāo)，且S_T的向量表征為{x₁，x₂，…，x_τ，…，x_t}，其中d是物品向量表征的長(zhǎng)度；采用基于門機(jī)制的多興趣膠囊網(wǎng)絡(luò)從物品序列中抽取出用戶多興趣；基于門機(jī)制的多興趣膠囊網(wǎng)絡(luò)的第一步是從物品向量x_i中抽取出不同興趣空間下的向量表征

其中，為會(huì)話中第i個(gè)物品向量表征，是第j個(gè)興趣的表征且q_j為所有用戶共享；用戶興趣的個(gè)數(shù)參數(shù)為M；和是第j個(gè)興趣的訓(xùn)練參數(shù)；為轉(zhuǎn)移矩陣，被所有興趣共享；⊙是門機(jī)制中常用的向量元素級(jí)別的乘法；通過(guò)興趣相關(guān)的門機(jī)制和轉(zhuǎn)移矩陣，從物品向量x_i中抽取出不同興趣空間下的向量表征基于門機(jī)制的多興趣膠囊網(wǎng)絡(luò)的第二步是迭代r次以下過(guò)程，r是動(dòng)態(tài)路由算法的迭代次數(shù)，得到用戶多興趣向量表征v_j：

c_ij＝exp(b_ij)/∑_jexp(b_ij)

v_j＝squash(s_j)

其中，是第i個(gè)物品向量表征x_i映射到第j個(gè)興趣空間的向量表征，b_ij是第i個(gè)物品向量表征到第j個(gè)興趣的連接系數(shù)，b_ij初始化為0，c_ij是系數(shù)b_ij歸一化后的連接系數(shù)；s_j將第j個(gè)興趣空間下的匯聚，并經(jīng)過(guò)squash向量激活函數(shù)得到用戶多興趣向量表征v_j；squash是膠囊網(wǎng)絡(luò)中常用的squash向量激活函數(shù)，公式為

根據(jù)用戶歷史購(gòu)買物品序列，得到用戶歷史購(gòu)買多興趣表征；用戶歷史購(gòu)買物品序列表示為B_T-1＝{x₁，x₂，…，x_l}，用戶歷史消費(fèi)序列B_T-1的向量表征為其中上標(biāo)a表示購(gòu)買行為；本方法在基于門機(jī)制的多興趣膠囊網(wǎng)絡(luò)算法的基礎(chǔ)上，繼續(xù)改進(jìn)膠囊網(wǎng)絡(luò)從用戶歷史購(gòu)買物品序列中抽取出用戶多興趣；為了使得在重復(fù)模式中增加推薦結(jié)果的多樣性，本方法提出一種增強(qiáng)推薦多樣性的多興趣膠囊網(wǎng)絡(luò)算法；該算法根據(jù)場(chǎng)景繼續(xù)改進(jìn)膠囊網(wǎng)絡(luò)連接系數(shù)b_ij的歸一化方式；

根據(jù)用戶當(dāng)前多興趣表征和用戶歷史購(gòu)買多興趣表征，得到重復(fù)推薦模式，即推薦用戶歷史購(gòu)買物品的概率；基于用戶的當(dāng)前會(huì)話S_T和用戶歷史購(gòu)買物品序列B_T-1，推薦下一個(gè)交互物品x_t+1的概率P(x_t+1|S_T，B_T-1)進(jìn)一步分解為：

P(x_t+1|S_T，B_T-1)＝P(r|S_T，B_T-1)·P(x_t+1| r，S_T，B_T-1)+(1-P(r | S_T，B_T-1))·P(x_t+1|e，S_T)

其中，r和e分別代表重復(fù)模式和探索模式，重復(fù)模式指在用戶歷史購(gòu)買物品集中推薦，探索模式指在用戶歷史購(gòu)買物品集以外的候選物品集中推薦；P(r|S_T，B_T-1)代表基于當(dāng)前交互會(huì)話序列S_T和用戶歷史購(gòu)買物品序列B_T-1，重復(fù)模式的概率；P(x_t+1|r，S_T，B_T-1)和P(x_t+1|e，S_T)分別代表在重復(fù)模式和探索模式下，推薦物品x_t+1的概率；重復(fù)模式的概率P(r| S_T，B_T-1)主要由當(dāng)前會(huì)話中抽取的多興趣v_j決定，且多興趣v_j的權(quán)重由歷史購(gòu)買興趣和當(dāng)前興趣v_j的相似度決定，這里采用余弦相似度來(lái)計(jì)算向量相似度；參數(shù)是轉(zhuǎn)化向量，σ是sigmoid函數(shù)；

在重復(fù)模式下，根據(jù)用戶的當(dāng)前多興趣表征和歷史購(gòu)買多興趣表征，在用戶歷史購(gòu)買的物品序列中進(jìn)行推薦；推薦物品x_i∈B_T-1的概率為P(x_i|r，S_T，B_T-1)：

其中，是向量之間的相似度函數(shù)；表示物品x_i是購(gòu)買興趣的概率；V代表物品集合；

在探索模式下，根據(jù)用戶的當(dāng)前多興趣表征，對(duì)不在用戶歷史購(gòu)買物品序列中的物品進(jìn)行推薦；

其中，和是模型需要訓(xùn)練的參數(shù)；x_τ為物品集合V-B_T-1中的物品x_τ的向量表征；v_j是從用戶當(dāng)前交互會(huì)話中抽取出的多興趣；對(duì)于x_τ∈B_T-1的物品，也就是推薦概率P(x_τ| e，S_T)＝0；

構(gòu)建損失函數(shù)，訓(xùn)練模型參數(shù)；采用對(duì)數(shù)似然損失函數(shù)：

其中，是訓(xùn)練集中所有的會(huì)話序列；P(x_τ| S_T，B_T-1)表示基于用戶的當(dāng)前會(huì)話S_T和用戶歷史購(gòu)買物品序列B_T-1，預(yù)測(cè)用戶下一個(gè)交互物品x_τ的概率，x_τ是會(huì)話序列中真實(shí)交互的物品；我們采用Adam優(yōu)化器更新模型參數(shù)。

2.根據(jù)權(quán)利要求1所述的一種基于多興趣重復(fù)網(wǎng)絡(luò)的會(huì)話推薦方法，其中，所述一種增強(qiáng)推薦多樣性的多興趣膠囊網(wǎng)絡(luò)算法的第一步是得到第i個(gè)購(gòu)買物品向量表征映射到第j個(gè)購(gòu)買興趣空間的向量表征

其中，為用戶歷史購(gòu)買序列中第i個(gè)物品向量表征；以及和從用戶當(dāng)前交互會(huì)話序列中抽取多興趣的膠囊網(wǎng)絡(luò)共享；一種增強(qiáng)推薦多樣性的多興趣膠囊網(wǎng)絡(luò)算法的第二步是迭代r^a次以下過(guò)程，最終得到用戶歷史購(gòu)買多興趣向量表征

其中，是第i個(gè)購(gòu)買物品向量表征映射到第j個(gè)購(gòu)買興趣空間的向量表征；是第i個(gè)購(gòu)買物品向量表征到第j個(gè)購(gòu)買興趣的連接系數(shù)，初始化為0，是系數(shù)歸一化后的連接參數(shù)；表示在購(gòu)買興趣膠囊內(nèi)對(duì)參數(shù)進(jìn)行歸一化，τ是溫度系數(shù)；當(dāng)τ→0⁺，購(gòu)買興趣膠囊趨向于只關(guān)注一個(gè)物品膠囊；而當(dāng)τ→∞，物品膠囊對(duì)于情感膠囊的作用趨于一致；所以溫度系數(shù)τ的作用是控制推薦的多樣性；當(dāng)τ→0⁺，推薦結(jié)果更能夠體現(xiàn)用戶興趣的多樣性；而當(dāng)τ→∞，推薦結(jié)果偏向于從主要興趣中挑選相關(guān)物品；是在購(gòu)買興趣膠囊間對(duì)參數(shù)進(jìn)行歸一化，用于對(duì)物品膠囊進(jìn)行興趣分類，即判斷物品體現(xiàn)用戶哪種購(gòu)買興趣；將第j個(gè)興趣空間下的匯聚，并經(jīng)過(guò)squash向量激活函數(shù)得到用戶歷史購(gòu)買多興趣向量表征具體公式為輸出的購(gòu)買興趣向量的長(zhǎng)度且向量長(zhǎng)度代表購(gòu)買興趣的概率，向量的方向代表購(gòu)買興趣的屬性。