[發(fā)明專利]基于元學(xué)習(xí)和長短期記憶網(wǎng)絡(luò)的推薦系統(tǒng)冷啟動方法

在審

• 申請?zhí)枺?/td>: 202211296829.1
• 申請日: 2022-10-21
• 公開（公告）號: CN115600648A
• 公開（公告）日: 2023-01-13
• 發(fā)明（設(shè)計）人: 蘇麗平;金弟;何東曉
• 申請（專利權(quán)）人: 天津大學(xué)
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06F16/9536
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 劉同欣

1.一種基于元學(xué)習(xí)和長短期記憶網(wǎng)絡(luò)的推薦系統(tǒng)冷啟動方法，包括：

步驟一：構(gòu)建高階元模型，所述高階元模型包括特征聚合器和任務(wù)預(yù)測器；所述特征聚合器利用異構(gòu)神經(jīng)網(wǎng)絡(luò)捕獲節(jié)點間的高階語義關(guān)系，對當(dāng)前用戶交互信息較少的情形進行補充，利用圖卷積神經(jīng)網(wǎng)絡(luò)作為編碼器，對節(jié)點屬性和網(wǎng)絡(luò)拓撲進行編碼，生成節(jié)點嵌入；利用全連接神經(jīng)網(wǎng)絡(luò)構(gòu)建所述任務(wù)預(yù)測器以用戶節(jié)點嵌入以及評價的項目的節(jié)點嵌入作為輸入，輸出評價分數(shù)的預(yù)測值；

步驟二：以項目評價分數(shù)的真實值和預(yù)測值作為輸入，進行平方損失函數(shù)的計算；

步驟三：以長短時記憶網(wǎng)絡(luò)構(gòu)建神經(jīng)任務(wù)調(diào)度器，分別以查詢集的平方損失函數(shù)以及支持集和查詢集的平方損失函數(shù)的梯度相似性作為輸入得到當(dāng)前任務(wù)的采樣概率，最終得到當(dāng)前任務(wù)相對新任務(wù)的采樣權(quán)重：

式中M_s表示支持集和查詢集損失函數(shù)的梯度相似性，分別表示支持集與查詢集的梯度，表示參數(shù)為的長短期記憶網(wǎng)絡(luò)，ω_u表示當(dāng)前用戶u的采樣權(quán)重；

步驟四：使用梯度下降的方法最小化真實值與預(yù)測值之間的差距，構(gòu)建神經(jīng)任務(wù)調(diào)度器和高階元模型的聯(lián)合優(yōu)化，獲得高階元模型和任務(wù)調(diào)度器的最優(yōu)參數(shù)，用于直接運用到未訓(xùn)練過的新用戶任務(wù)。

2.根據(jù)權(quán)利要求1所述的推薦系統(tǒng)冷啟動方法，其特征在于，使用損失函數(shù)來訓(xùn)練高階元模型以及長短時記憶網(wǎng)絡(luò)，通過損失函數(shù)以及損失函數(shù)的梯度相似性來訓(xùn)練高階元模型以及神經(jīng)任務(wù)調(diào)度器；所述冷啟動方法的訓(xùn)練過程使用Adam優(yōu)化器訓(xùn)練神經(jīng)網(wǎng)絡(luò)參數(shù)。

3.根據(jù)權(quán)利要求1所述的推薦系統(tǒng)冷啟動方法，其特征在于，步驟一具體包括如下步驟：

對用戶-項目的交互進行采樣，獲取元學(xué)習(xí)任務(wù)的數(shù)據(jù)集，所述數(shù)據(jù)集包括支持集和查詢集；假設(shè)一個用戶u的任務(wù)是T_u＝(S_u,Q_u)，根據(jù)元學(xué)習(xí)的思想，將與用戶u交互的項目分為支持集S_u和查詢集Q_u；所述支持集用于訓(xùn)練數(shù)據(jù)，查詢集用于測試數(shù)據(jù)；

利用圖卷積神經(jīng)網(wǎng)絡(luò)對異構(gòu)神經(jīng)網(wǎng)絡(luò)中用戶的高階上下文項目信息進行特征聚合，生成用戶初步的節(jié)點嵌入，其中用戶節(jié)點嵌入捕獲了上下文項目節(jié)點間的拓撲關(guān)系：

x_u＝g_φ(u,b)

＝σ(MEAN({Wb+b:b∈B}))

式中b表示與當(dāng)前用戶交互的項目屬性，σ為激活函數(shù),φ＝(W,b)表示圖卷積神經(jīng)網(wǎng)絡(luò)g的參數(shù)，g命名為特征聚合器；

步驟二：用全連接神經(jīng)網(wǎng)絡(luò)構(gòu)建任務(wù)預(yù)測器，利用生成的用戶初步的節(jié)點嵌入和用戶評價過的項目，使用任務(wù)預(yù)測器對用戶對項目的評分進行預(yù)測；然后基于預(yù)測的評分，衡量預(yù)測值和步驟一獲取的真實值之間的差距，并用平方損失函數(shù)表示：

式中h_w表示參數(shù)為w的預(yù)測器，MLP表示全連接神經(jīng)網(wǎng)絡(luò)，x_u,x_b分別表示用戶和項目的嵌入，L_us表示用戶u支持集的損失函數(shù)，|B_s|表示支持集項目的數(shù)量，r_u,b，分別表示用戶u對項目b評分的真實值和預(yù)測值；

最終，特征聚合器和任務(wù)預(yù)測器一起統(tǒng)一為高階元模型，其參數(shù)θ＝(φ,w)。

4.根據(jù)權(quán)利要求1所述的推薦系統(tǒng)冷啟動方法，其特征在于，步驟四具體包括如下步驟：

a)以高階元模型的損失函數(shù)和對應(yīng)的梯度相似性為輸入，分別建模高階元模型的訓(xùn)練結(jié)果和訓(xùn)練過程兩個方面，實現(xiàn)對神經(jīng)任務(wù)調(diào)度器參數(shù)的更新：

b)以神經(jīng)任務(wù)調(diào)度器計算的采樣權(quán)重為參考，選取采樣權(quán)重較高的任務(wù)進行高階元模型的訓(xùn)練，實現(xiàn)對其參數(shù)的更新；此過程可以實現(xiàn)提供信息量更多的任務(wù)將更優(yōu)先被用于訓(xùn)練，在一定程度上緩解了全部任務(wù)統(tǒng)一采樣的局限性：

c)基于元學(xué)習(xí)技術(shù)的高階元模型建模了拓撲結(jié)構(gòu)的信息，基于長短時記憶網(wǎng)絡(luò)的神經(jīng)任務(wù)調(diào)度器突破以往固定采樣策略的限制，實現(xiàn)其自動化的學(xué)習(xí)，得到高階元模型和任務(wù)調(diào)度器的最優(yōu)參數(shù)：