[發(fā)明專(zhuān)利]基于雙重注意力機(jī)制的文本推薦系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202111596462.0
• 申請(qǐng)日: 2021-12-21
• 公開(kāi)（公告）號(hào): CN114330291A
• 公開(kāi)（公告）日: 2022-04-12
• 發(fā)明（設(shè)計(jì)）人: 僧德文;王嘉奕
• 申請(qǐng)（專(zhuān)利權(quán)）人: 杭州電子科技大學(xué)
• 主分類(lèi)號(hào): G06F40/211
• 分類(lèi)號(hào): G06F40/211;G06F40/216;G06N3/04;G06N3/08
• 代理公司: 杭州浙科專(zhuān)利事務(wù)所(普通合伙) 33213
• 代理人: 孫孟輝

1.基于雙重注意力機(jī)制的評(píng)論推薦系統(tǒng)的特征在于包括以下步驟：

步驟 1：獲取用戶和物品的評(píng)論文本、評(píng)分信息；

步驟 2：對(duì)上一步驟獲取到的數(shù)據(jù)進(jìn)行預(yù)處理，使其滿足網(wǎng)絡(luò)訓(xùn)練的需要，包括缺失值填充、異常值剔除以及構(gòu)建一個(gè)用戶/物品- 評(píng)論的哈希表；

步驟 3：將評(píng)論文本信息輸入到句向量工具中，得到評(píng)論的向量化形式；劃分訓(xùn)練集、驗(yàn)證集、測(cè)試集；

步驟 4：初始化神經(jīng)網(wǎng)絡(luò)的各種超參數(shù)，將預(yù)處理后的訓(xùn)練集數(shù)據(jù)輸入到網(wǎng)絡(luò)中進(jìn)行訓(xùn)練直至收斂；

步驟 5：在預(yù)處理后的驗(yàn)證集數(shù)據(jù)上調(diào)整網(wǎng)絡(luò)的各種超參數(shù)；然后在預(yù)處理后的測(cè)試集上進(jìn)行預(yù)測(cè)，評(píng)估模型的性能表現(xiàn)。

2.根據(jù)權(quán)利要求 1 所述的基于雙重注意力機(jī)制的評(píng)論推薦系統(tǒng)，其特征在于所述步驟 1 具體為：

步驟 1.1：獲取所有用戶和物品的唯一編號(hào)、評(píng)論的物品、評(píng)論文本、評(píng)論時(shí)間以及評(píng)分。

3.根據(jù)權(quán)利要求 1 所述的基于雙重注意力機(jī)制的評(píng)論推薦系統(tǒng)，其特征在于所述步驟 2 具體為：

步驟 2.1：將缺失以及明顯異常的數(shù)據(jù)直接刪除；

步驟 2.2：遍歷整個(gè)數(shù)據(jù)集，構(gòu)造一個(gè)哈希表，其鍵是用戶/物品唯一標(biāo)識(shí)碼，值是一個(gè)具有所有評(píng)論序號(hào)，評(píng)論時(shí)間組成的二元組的列表。

4.根據(jù)權(quán)利要求 1 所述的基于雙重注意力機(jī)制的評(píng)論推薦系統(tǒng)，其特征在于所述步驟 3 具體為：

步驟 3.1：將數(shù)據(jù)集中的所有評(píng)論輸入到句向量工具中得到評(píng)論的向量化表示，并且進(jìn)行數(shù)據(jù)歸一化操作，將所有值控制在 [0, 1] 之間；

步驟 3.2：按照步驟 2.2 生成的哈希表中的評(píng)論序號(hào)，將值替換為真正的評(píng)論向量，并且對(duì)所有值按照時(shí)間順序進(jìn)行排序；

步驟 3.3: 按照7: 3: 1 的比例將數(shù)據(jù)集分割為訓(xùn)練集、驗(yàn)證集、以及測(cè)試集。

5.根據(jù)權(quán)利要求 1 所述的基于雙重注意力機(jī)制的評(píng)論推薦系統(tǒng)，其特征在于所述步驟 4 具體為：

步驟 4.1：初始化模型的各個(gè)超參數(shù)：局部注意力向量的維度，全局注意力向量的維度，批量大小，全聯(lián)接網(wǎng)絡(luò)的層數(shù)，各層神經(jīng)元個(gè)數(shù)，注意力頭部個(gè)數(shù)，數(shù)據(jù)集迭代次數(shù)，Dropout 比率；

步驟 4.2：計(jì)算各個(gè)評(píng)論之間的局部注意力分?jǐn)?shù)，進(jìn)行加權(quán)求和，得到單個(gè)用戶下所有評(píng)論進(jìn)行局部注意力計(jì)算后的矩陣表示，物品同理；

步驟 4.3：計(jì)算各個(gè)評(píng)論的全局注意力分?jǐn)?shù)，進(jìn)行加權(quán)求和，得到單個(gè)用戶的向量表示，物品同理，并且將兩者相加，得到一個(gè)此用戶-物品對(duì)的一個(gè)最終表示向量；

步驟4.4：將上一步驟產(chǎn)生的最終表示向量輸入到因子分解機(jī)中進(jìn)行評(píng)分預(yù)測(cè)；

步驟4.5：依照 MSE 進(jìn)行整體損失計(jì)算，使用 Adam 優(yōu)化器對(duì)模型的參數(shù)進(jìn)行優(yōu)化，在模型收斂或者達(dá)到最大數(shù)據(jù)集迭代次數(shù)后結(jié)束訓(xùn)練。

6.根據(jù)權(quán)利要求 1 所述的基于雙重注意力機(jī)制的評(píng)論推薦系統(tǒng)，其特征在于所述步驟 5 具體為：

步驟5.1：根據(jù)訓(xùn)練后的結(jié)果對(duì)模型進(jìn)行參數(shù)調(diào)整，尋找到一組使模型性能最優(yōu)的超參數(shù)；

步驟5.2：在測(cè)試集上使用 MSE 指標(biāo)對(duì)模型性能進(jìn)行評(píng)估，得到最終結(jié)果。