[發(fā)明專利]一種改進(jìn)的包含多重邊信息與多任務(wù)學(xué)習(xí)的深度推薦方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011337565.0
• 申請(qǐng)日: 2020-11-25
• 公開（公告）號(hào): CN112487200B
• 公開（公告）日: 2022-06-07
• 發(fā)明（設(shè)計(jì)）人: 董立巖;王越群;馬心陶
• 申請(qǐng)（專利權(quán)）人: 吉林大學(xué)
• 主分類號(hào): G06F16/36
• 分類號(hào): G06F16/36;G06F16/9535;G06N3/04
• 代理公司: 長春市恒譽(yù)專利代理事務(wù)所(普通合伙) 22212
• 代理人: 鞠傳龍

1.一種改進(jìn)的包含多重邊信息與多任務(wù)學(xué)習(xí)的深度推薦方法，其特征在于：其方法如下所述：

步驟一、輸入用戶以及項(xiàng)目的相關(guān)數(shù)據(jù)以及知識(shí)圖譜的三元組：

關(guān)于推薦系統(tǒng)主要包括用戶集U以及項(xiàng)目集I，用戶集合表示為：U＝{u1，u2.....un}，項(xiàng)目集合表示為I＝{i1，i2.....im}，用戶項(xiàng)目交互集合表示為：Y∈Rm×n，其中有n個(gè)用戶以及m個(gè)項(xiàng)目，其中y_uv∈Y且y_uv＝1表示該用戶u參與了項(xiàng)目v，反之y_uv＝0示用戶u未參與過項(xiàng)目v，對(duì)于每個(gè)用戶u假設(shè)具有n個(gè)特征值，代表用戶的上下文，從而用該上下文表示用戶，對(duì)于物品i∈I(i₁，i₂，i₃…i_n)，每個(gè)物品具有相同數(shù)量的屬性特征，因此，項(xiàng)目的組合表示為I＝[A1，A2，A3...Ax]，它表示I包含x個(gè)屬性的項(xiàng)，知識(shí)圖譜G通常用三元組(h，r，t)進(jìn)行表示，其中h∈E，r∈R，t∈E代表了h與t均屬于實(shí)體集合，關(guān)系r屬于關(guān)系集合，在結(jié)合知識(shí)圖譜的推薦系統(tǒng)中，會(huì)給出用戶項(xiàng)目的交互集合Y以及知識(shí)圖譜G，目標(biāo)是求得用戶u是否對(duì)未交互的項(xiàng)目v感興趣，用公式表示則是：其中代表著用戶u交互項(xiàng)目v的概率，Θ表示函數(shù)F的模型參數(shù)；

步驟二、對(duì)項(xiàng)目屬性以及用戶屬性進(jìn)行分類：

在傳統(tǒng)的MKR模型中，需要將項(xiàng)目、項(xiàng)目屬性以及具體的項(xiàng)目屬性值轉(zhuǎn)換為三元組來創(chuàng)建知識(shí)圖，i₁的屬性項(xiàng)A₁的屬性值為a₁₁，在知識(shí)圖譜三元組中表示這個(gè)關(guān)系為：(i₁，A₁，a₁₁)，把項(xiàng)目屬性按照屬性值類型分為三種類型，即文本類型屬性A^T，多值復(fù)合屬性A^M和其他類型屬性A^E，屬性集合A表示為A＝A^T∪A^M∪A^E；

對(duì)于類型為A^T的屬性，其值由包含多個(gè)單詞的句子組成，文本屬性具有實(shí)際意義，不同項(xiàng)目的文本屬性值也通過文本的實(shí)際意義具有一定的相關(guān)性，A^M是一種多值類型的屬性，即各種類型的子屬性的組合，與文本屬性類似，需要以知識(shí)表示的形式進(jìn)行深度訓(xùn)練，獲取嵌入信息，并將嵌入信息作為輸入到推薦模塊，其他項(xiàng)目屬性A^E則直接轉(zhuǎn)換為知識(shí)圖三元組，最終發(fā)送到SI-MKR模型的知識(shí)圖KGE單元進(jìn)行訓(xùn)練或轉(zhuǎn)換為嵌入向量作為推薦系統(tǒng)單元的輸入；

步驟三、處理文本類屬性：

利用自然語言處理和文本卷積網(wǎng)絡(luò)的概念提取文本數(shù)據(jù)特征，對(duì)于一個(gè)n×K大小的文本特征，每一行都是一個(gè)單詞的特征向量，使用兩個(gè)不同大小的卷積核：即滑動(dòng)和固定，在文本卷積網(wǎng)絡(luò)中，卷積核的大小被設(shè)為2或3或4或5，即，2×k，3×k，4×k，5×k，其中k為嵌入向量的長度，通過最大池化來計(jì)算每個(gè)特征圖的最大值，每個(gè)特征向量被連接成一個(gè)特征向量，最后在全連接層中使用dropout進(jìn)行正則化，對(duì)句子進(jìn)行分類并描述可能的輸出狀態(tài)，文本卷積網(wǎng)絡(luò)將文本進(jìn)行向量化的計(jì)算過程進(jìn)行如下描述：

將文本信息嵌入到一個(gè)矩陣中，假設(shè)總共有7個(gè)單詞，其中每個(gè)單詞都是一個(gè)五維向量，得到一個(gè)7×5的矩陣，這個(gè)矩陣相當(dāng)于一個(gè)“圖像”，用于卷積層的卷積操作，假設(shè)總共有m個(gè)單詞，每個(gè)單詞都可以轉(zhuǎn)換成k維向量，單詞列表可以表示為m×k：

其中x_i∈R^k是句子中的第i個(gè)單詞的向量表示，對(duì)于一個(gè)長度為n的句子可以表示為：

其中是連接操作符，用x_i：i+j表示相連的單詞x_i，x_i+1...x_i+j，由x_i：i+q-1個(gè)單詞窗口得到特征c_i的卷積運(yùn)算如下所示：

c_i＝f(w·x_i：i+q-1+b) (2)

其中w∈R^qk為卷積核，b∈R為偏置項(xiàng)，f(·)為非線性函數(shù)，即激活函數(shù)，將該卷積核應(yīng)用于句子中每一個(gè)可能的單詞窗口可得到該層的特征c∈R^n-q+1，具體如下所示：

c[c₁，c₂，...，c_n-q+1] (3)

使用最大池化操作捕獲最能體現(xiàn)價(jià)值的特征，最后使用Dropout做正則化，最終得到了項(xiàng)目中文本屬性的特征表示，設(shè)全連接層有m個(gè)神經(jīng)元，經(jīng)過ReLu激活函數(shù)，得到一個(gè)固定大小的向量，即一個(gè)可供學(xué)習(xí)的文本特征向量，計(jì)算公式如下：

t_i＝cnn(W，Y_i) (4)

步驟四、處理多值屬性：

對(duì)于多值類型屬性和id這兩類數(shù)據(jù)，采用索引矩陣和嵌入層對(duì)這些數(shù)據(jù)進(jìn)行變換，屬性Y是一個(gè)多值類型屬性，有m個(gè)屬性值，將這些m個(gè)屬性標(biāo)為連續(xù)數(shù)的形式，嵌入矩陣以1-m的序列作為索引，對(duì)于某一項(xiàng)，屬性表示為d維向量，itemI的屬性Y表示為：

步驟五、通過用戶以及項(xiàng)目屬性進(jìn)行用戶項(xiàng)目特征表示：

對(duì)于項(xiàng)目與用戶而言，首先需要進(jìn)行其屬性的判定，包括其文本屬性、多值屬性以及其他屬性，對(duì)于除去文本屬性外的其他屬性通過如下公式表示：

w₁和w₂代表權(quán)重，b₁和b₂代表偏置，f(·)代表激活函數(shù)，

利用全連接層對(duì)屬性的特征進(jìn)行向量化，最終將用戶和項(xiàng)目除文本屬性外的向量嵌入表示為：

步驟六、將項(xiàng)目屬性與知識(shí)圖譜的頭屬性進(jìn)行交叉訓(xùn)練：

項(xiàng)目的特征向量以文本屬性和多值類型屬性作為邊信息，生成項(xiàng)目的特征表示，然后將項(xiàng)目的特征傳遞到交叉單元和知識(shí)圖單元的實(shí)體集進(jìn)行交叉學(xué)習(xí)，SI-MKR模型中推薦模塊的輸入由描述用戶和項(xiàng)目的兩個(gè)原始特征向量組成，給定用戶的原始特征向量u，使用1層MLP來提取這個(gè)潛在的壓縮特征，具體如下：

u_L＝M(M(…M(u)))＝M_L(u) (10)

其中M(x)＝σ(Wx+b)，W為權(quán)值、b為偏置、σ(·)為非線性激活函數(shù)，對(duì)于項(xiàng)目表示為：v_L＝E_e～s(v)[C^L(v，e)[v]] (11)

其中，S(v)是項(xiàng)目v關(guān)聯(lián)實(shí)體e的集合，在獲得用戶u和項(xiàng)目v的潛在特征后，通過預(yù)測(cè)函數(shù)可以得到用戶u參與項(xiàng)目v的最終預(yù)測(cè)概率；

在知識(shí)圖譜單元，關(guān)于尾部t向量的預(yù)測(cè)公式如下所示：

h_L＝E_v～s(h)[C^L(v，h)[e]]

r_L＝M^L(r)

交叉壓縮單元是項(xiàng)目v與實(shí)體e之間的鏈接模塊，對(duì)于潛在特征v_l∈R^d與e_l∈R^d，構(gòu)造了表示第L層的交叉特征矩陣C_l：

將交叉特征矩陣投影到潛在表示空間中，輸出下一層項(xiàng)目和實(shí)體的特征向量，具體如下：

步驟七、迭代更新用戶向量、項(xiàng)目向量、知識(shí)圖譜頭部尾部向量：

通過以上步驟公式獲得推薦模塊以及知識(shí)圖譜模塊的預(yù)測(cè)公式如下：

關(guān)于推薦模塊的點(diǎn)擊概率公式如公式16所示，最終將預(yù)測(cè)點(diǎn)擊公式表示為：

步驟八、損失函數(shù)學(xué)習(xí)：

損失函數(shù)分為三部分，分別是推薦模塊的損失函數(shù)，KGE模塊的損失函數(shù)，防止過擬合的正則化項(xiàng)，具體如下：

對(duì)于推薦模塊的損失函數(shù)表示為：

對(duì)于知識(shí)圖譜模塊的損失函數(shù)表示為：

對(duì)于總體的損失函數(shù)表示為：

通過以上的訓(xùn)練可以獲取到用戶對(duì)項(xiàng)目的潛在偏好，也就是預(yù)測(cè)矩陣。