[發明專利]利用變分的正則化流實現的項目推薦方法及模型訓練方法

有效

• 申請號: 201910515356.1
• 申請日: 2019-06-14
• 公開（公告）號: CN110232480B
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 鐘婷;溫子敬;周帆
• 申請（專利權）人: 電子科技大學
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06Q10/06;G06N3/04;G06K9/62
• 代理公司: 成都虹盛匯泉專利代理有限公司 51268
• 代理人: 王偉

1.一種利用變分的正則化流實現的項目推薦模型訓練方法，其特征在于包括以下步驟：

S1，構建訓練集：利用同一用戶的基于會話的序列構建訓練集；

S2，數據的預處理：將基于會話的序列劃分為輸入數據和標簽項目，并將輸入數據中的每一個項目進行嵌入，表示成嵌入向量；

S3，獲取隱含變量，將表示成嵌入向量的輸入數據輸入循環神經網絡，并引入正則化流學習算法和注意力機制，分別構建第一隱含變量和第二隱含變量，并將兩個隱含變量拼接在一起獲取最終的隱含變量；

首先將表示成嵌入向量的輸入數據輸入循環神經網絡，得到隱藏狀態，并構建第一隱含變量，通過正則化流學習算法對第一隱含變量優化得到的優化后的第一隱含變量；同時依據得到的隱藏狀態，利用注意力機制獲取第二隱含變量，并將優化后的第一隱含變量和第二隱含變量拼接在一起得到最終的隱含變量；具體實現方式包括以下分步驟：

S31，利用循環神經網絡對表示成嵌入向量的輸入數據進行編碼，得到隱藏狀態h_t，并構建第一隱含變化量z₀；

式中，為潛在空間中會話分布的均值，為潛在空間中會話分布的方差，隱藏狀態其中h_t表示循神經網絡每一層的第t個項目對應的隱藏狀態，更新門z_t＝σ(W_zx_t+U_zh_t-1)，候選的激活函數重置門r_t＝σ(W_rx_t+U_rh_t-1)，以上的σ表示為sigmoid激活函數，tanh也是一種激活函數，x_t表示每一層輸入的第t個項目，W_z、W_t、W_u、W_σ、U_z、U_t、U_r、b_μ、b_σ均表示模型的訓練參數，ε表示一個用于隨機采樣的標準正態分布的變量；

S32，定義一組可逆函數f＝[f₁，…，f_K]，將步驟S31得到的第一隱含變量z₀放進輸入到這一組可逆函數中進行變換，學習到得到優化的第一隱含變量z_k，z_k＝f_K(f_K-1(z_K-2))＝f_K(f_K-1(…f₁(z₀)))；

S33，基于變分注意力機制，首先按照以下公式計算得到會話序列中不同項目點對循環軌跡編碼器當前對應輸出值的概率分布α_it，

式中，h_i表示循環神經網絡每一層的第i個項目的隱藏狀態，i＝1，2，…，t；h_t表示第t個項目的隱藏狀態，由步驟S31得到，W^T為該會話序列需要學習的參數矩陣W的轉置；

然后，通過加權輸入求和計算得到注意力向量c，并將其作為第二隱含變量：

S34，將步驟S32得到的優化后的第一隱含變量和步驟S33得到的第二隱含變量拼接在一起，得到最終的隱含變量m；

S4，獲取第一損失，將最終的隱含變量輸入到分類器中，輸出得到預測項目，利用預測項目和該會話序列的標簽項目計算交叉熵損失，并將其作為第一損失；

S5，獲取第二損失，將基于正則化流構建的第一隱含變量輸入到解碼器中得到第二損失；

S6，將第一損失與第二損失相加生成最后的總損失；

S7，重復步驟S2-S6，最小化總損失，即得到所述項目推薦模型。

2.根據權利要求1所述利用變分的正則化流實現的項目推薦模型訓練方法，其特征在于步驟S1中，訓練集內基于會話的所有會話序列的長度均不小于5。

3.根據權利要求1或2所述利用變分的正則化流實現的項目推薦模型訓練方法，其特征在于將每一個會話序列劃分為若干子序列，并將這些子序列補充到原有訓練集中。