[發(fā)明專利]一種基于知識(shí)圖譜和注意力機(jī)制的推薦方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011475276.7
• 申請(qǐng)日: 2020-12-14
• 公開（公告）號(hào): CN112507132B
• 公開（公告）日: 2022-08-05
• 發(fā)明（設(shè)計(jì)）人: 張蕾;張振宇
• 申請(qǐng)（專利權(quán)）人: 天津大學(xué)
• 主分類號(hào): G06F16/36
• 分類號(hào): G06F16/36;G06F16/9535;G06F16/958
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 李麗萍

1.一種基于知識(shí)圖譜和注意力機(jī)制的推薦方法，其特征在于，包括以下步驟：

步驟一：根據(jù)推薦系統(tǒng)中的交互記錄，獲取與交互記錄相關(guān)的知識(shí)圖譜；對(duì)知識(shí)圖譜中的每個(gè)實(shí)體的其鄰居節(jié)點(diǎn)進(jìn)行隨機(jī)采樣處理；其中：

獲取與交互記錄相關(guān)的知識(shí)圖譜，包括：

1-1)將交互記錄中的物品剔除重復(fù)值后加入到一個(gè)交互物品列表中；

1-2)對(duì)交互物品列表中的每個(gè)物品，使用網(wǎng)頁接口向中文通用百科知識(shí)圖譜(CN-DBPedia)網(wǎng)站的列表接口發(fā)送物品名稱，得到返回的實(shí)體ID列表；

1-3)針對(duì)實(shí)體ID列表中的每一個(gè)元素，向中文通用百科知識(shí)圖譜(CN-DBPedia)網(wǎng)站的實(shí)體接口發(fā)送實(shí)體ID，得到實(shí)體的屬性信息；

1-4)使用計(jì)算機(jī)軟件編程對(duì)實(shí)體ID列表中每一個(gè)元素得到的屬性信息和交互記錄中的屬性信息進(jìn)行比對(duì)，確定交互記錄中實(shí)際物品所對(duì)應(yīng)的正確ID；

1-5)將確定的ID發(fā)送到中文通用百科知識(shí)圖譜(CN-DBPedia)網(wǎng)站的提取接口，提取到此ID對(duì)應(yīng)的所有知識(shí)圖譜三元組；

1-6)將交互物品列表中每個(gè)物品的知識(shí)圖譜三元組集合組成一個(gè)總的集合，即為與交互記錄相關(guān)的知識(shí)圖譜；

對(duì)知識(shí)圖譜中的每個(gè)實(shí)體的其鄰居節(jié)點(diǎn)進(jìn)行隨機(jī)采樣處理過程中，當(dāng)采樣數(shù)量大于鄰居節(jié)點(diǎn)數(shù)量時(shí)，采用可重復(fù)隨機(jī)采樣，當(dāng)采樣數(shù)量小于鄰居節(jié)點(diǎn)數(shù)量時(shí)，采用不重復(fù)隨機(jī)采樣；

步驟二：針對(duì)采樣結(jié)果，使用知識(shí)圖譜和交互記錄分別訓(xùn)練兩個(gè)推薦系統(tǒng)模型，兩個(gè)推薦系統(tǒng)模型包括常規(guī)版知識(shí)精煉推薦系統(tǒng)模型(KRAN-NM)和冷啟動(dòng)版知識(shí)精煉推薦系統(tǒng)模型(KRAN-CD)；其中：

訓(xùn)練常規(guī)版知識(shí)精煉推薦系統(tǒng)模型的步驟如下：

2-1)計(jì)算每個(gè)實(shí)體與步驟一采樣后的鄰居節(jié)點(diǎn)的注意力系數(shù)：

式(1)中，T為求得的注意力系數(shù)，a(，)為內(nèi)積操作，h為實(shí)體節(jié)點(diǎn)的嵌入向量表示，其中下標(biāo)0表示實(shí)體本身，下標(biāo)i表示實(shí)體的每個(gè)鄰居節(jié)點(diǎn)；

2-2)采用式(2)進(jìn)行注意力系數(shù)的歸一化操作，得到每個(gè)實(shí)體的注意力因子

式(2)中，α為計(jì)算得到的每個(gè)實(shí)體與其每個(gè)鄰居之間的注意力因子，H為知識(shí)圖譜中所有實(shí)體的嵌入表示組合而成的嵌入表示集合，下標(biāo)i表示實(shí)體的每個(gè)鄰居節(jié)點(diǎn)，下標(biāo)j表示實(shí)體所有鄰居節(jié)點(diǎn)的枚舉值；

2-3)對(duì)上述得到的每個(gè)實(shí)體的注意力因子進(jìn)行精煉操作，得到精煉注意力因子，

式(3)中，β為計(jì)算得到的精煉注意力因子；

2-4)將所有精煉注意力因子組合成向量，得到每個(gè)實(shí)體的精煉注意力因子向量：

式(4)中，C為鄰居的個(gè)數(shù)；

2-5)使用每個(gè)實(shí)體的精煉注意力因子向量進(jìn)行實(shí)體信息的初步聚合：

式(5)中，為初步聚合的結(jié)果，為知識(shí)圖譜中所有實(shí)體的嵌入表示組合而成的嵌入表示集合的向量矩陣；

2-6)在上述初步聚合的基礎(chǔ)上進(jìn)行完整的聚合：

式(6)中，是完整的聚合結(jié)果，W_adj是一個(gè)單層的神經(jīng)網(wǎng)絡(luò)；

2-7)對(duì)完整聚合的結(jié)果進(jìn)行規(guī)范化處理：

式(7)中，是規(guī)范化的聚合結(jié)果；

2-8)通過連接操作，得到多次聚合的最終結(jié)果：

式(8)中，是最終的聚合結(jié)果；

2-9)形成推薦系統(tǒng)中用戶對(duì)物品的偏好預(yù)測(cè)：

式(9)中，u是用戶的嵌入向量表示；

2-10)定義損失函數(shù)模型：

其中：

式(10)-(12)中，Γ是實(shí)際的偏好大小，Z是預(yù)測(cè)的偏好大小，y則指的是神經(jīng)網(wǎng)絡(luò)中每個(gè)矩陣元素的大小，m指的是神經(jīng)網(wǎng)絡(luò)中矩陣元素的個(gè)數(shù)；

2-11)使用梯度下降的算法循環(huán)訓(xùn)練式(10)所示的損失函數(shù)模型，從而實(shí)現(xiàn)對(duì)所述的推薦系統(tǒng)模型的訓(xùn)練；

訓(xùn)練冷啟動(dòng)版知識(shí)精煉推薦系統(tǒng)模型包括：首先，通過對(duì)冷啟動(dòng)版知識(shí)精煉推薦系統(tǒng)模型的預(yù)訓(xùn)練，得到實(shí)體節(jié)點(diǎn)的嵌入向量表示h；然后，按照步驟2-1)至2-11)實(shí)現(xiàn)對(duì)所述的推薦系統(tǒng)模型的訓(xùn)練；

對(duì)冷啟動(dòng)版知識(shí)精煉推薦系統(tǒng)模型的預(yù)訓(xùn)練過程如下：

針對(duì)步驟一獲取的知識(shí)圖譜中的每個(gè)實(shí)體的節(jié)點(diǎn)進(jìn)行獨(dú)熱編碼；

將每個(gè)實(shí)體的獨(dú)熱編碼用兩個(gè)神經(jīng)網(wǎng)絡(luò)進(jìn)行變換，兩個(gè)神經(jīng)網(wǎng)絡(luò)分別是：第一個(gè)神經(jīng)網(wǎng)絡(luò)為節(jié)點(diǎn)個(gè)數(shù)*嵌入維度模式的轉(zhuǎn)換矩陣W_a，第二個(gè)神經(jīng)網(wǎng)絡(luò)為嵌入維度*節(jié)點(diǎn)個(gè)數(shù)模式的轉(zhuǎn)換矩陣W_b；

訓(xùn)練上述兩個(gè)神經(jīng)網(wǎng)絡(luò)，將第一個(gè)神經(jīng)網(wǎng)絡(luò)和第二個(gè)神經(jīng)網(wǎng)絡(luò)串聯(lián)，所述第二個(gè)神經(jīng)網(wǎng)絡(luò)的輸出為實(shí)體節(jié)點(diǎn)，是原點(diǎn)出發(fā)的隨機(jī)游走序列；

當(dāng)?shù)诙€(gè)神經(jīng)網(wǎng)絡(luò)的輸出損失最小時(shí)，所述的轉(zhuǎn)換矩陣W_a即是知識(shí)圖譜的冷啟動(dòng)預(yù)嵌入向量表示結(jié)果，將所述轉(zhuǎn)換矩陣W_a的每一行作為實(shí)體節(jié)點(diǎn)的嵌入向量表示h；

步驟三：將待推薦物品分為常規(guī)物品和冷啟動(dòng)物品，其中，有交互記錄的物品為常規(guī)物品，沒有交互記錄的為冷啟動(dòng)物品；對(duì)常規(guī)物品使用步驟二訓(xùn)練好的常規(guī)版知識(shí)精煉推薦系統(tǒng)模型處理，對(duì)冷啟動(dòng)物品用步驟二訓(xùn)練好的冷啟動(dòng)版知識(shí)精煉推薦系統(tǒng)模型處理，最后將兩種模型的處理結(jié)果按照偏好度大小進(jìn)行綜合排名，得到最終的推薦結(jié)果。