[發明專利]基于片段和自注意力機制的序列推薦方法及系統

有效

• 申請號: 202110705180.3
• 申請日: 2021-06-24
• 公開（公告）號: CN113343097B
• 公開（公告）日: 2023-01-13
• 發明（設計）人: 羅毅;鄭永森;陳子良;聶琳
• 申請（專利權）人: 中山大學
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06N3/04;G06N3/08
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 陳旭紅;晏靜文

1.一種基于片段和自注意力機制的序列推薦方法，其特征在于，包括：

將輸入的物品序列重組為片段序列，包括：

獲取物品序列：

式中，表示序列中的第t個物品，t表示時間戳；

獲取物品序列的子序列：

式中，{,}表示向量的拼接，r表示片段的長度；x_t＝v_t+p_t，v_t、p_t分別表示物品的d維嵌入向量、位置向量；

重組子序列，得到片段序列：

式中，a表示片段的步長，n_u表示原物品序列的長度；

將片段序列表示為矩陣形式：

利用神經網絡模型對所述片段序列進行特征提取；所述神經網絡模型為transformer網絡，包括：自注意力層，用于對所述片段序列進行特征提取；輸出層，用于輸出提取結果；

將部分提取結果輸入至softmax函數，利用所述softmax函數預測每個物品為下一推薦物品的概率；

根據所述概率建立神經網絡模型的損失函數，當所述損失函數未滿足預設條件時，將剩余提取結果輸入至神經網絡模型進行模型訓練，直至所述損失函數滿足預設條件時，將對應的神經網絡模型作為目標模型，用于物品的序列推薦。

2.根據權利要求1所述的基于片段和自注意力機制的序列推薦方法，其特征在于，利用梯度下降法進行模型訓練。

3.一種基于片段和自注意力機制的序列推薦系統，其特征在于，包括：

序列重組單元，用于將輸入的物品序列重組為片段序列，包括：

獲取物品序列：

式中，表示序列中的第t個物品，t表示時間戳；

獲取物品序列的子序列：

式中，{,}表示向量的拼接，r表示片段的長度；x_t＝v_t+p_t，v_t、p_t分別表示物品的d維嵌入向量、位置向量；

重組子序列，得到片段序列：

式中，a表示片段的步長，n_u表示原物品序列的長度；

將片段序列表示為矩陣形式：

特征提取單元，用于利用神經網絡模型對所述片段序列進行特征提取，所述神經網絡模型為transformer網絡，包括：自注意力層，用于對所述片段序列進行特征提取；輸出層，用于輸出提取結果；

預測單元，用于將部分提取結果輸入至softmax函數，利用所述softmax函數預測每個物品為下一推薦物品的概率；

訓練單元，用于根據所述概率建立神經網絡模型的損失函數，當所述損失函數未滿足預設條件時，將剩余提取結果輸入至神經網絡模型進行模型訓練，直至所述損失函數滿足預設條件時，將對應的神經網絡模型作為目標模型，用于物品的序列推薦。

4.根據權利要求3所述的基于片段和自注意力機制的序列推薦系統，其特征在于，所述訓練單元，還用于利用梯度下降法進行模型訓練。

5.一種終端設備，其特征在于，包括：處理器、存儲器以及存儲在所述存儲器中且被配置為由所述處理器執行的計算機程序，所述處理器執行所述計算機程序時實現如權利要求1至2中任一項所述的基于片段和自注意力機制的序列推薦方法。

6.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行實現如權利要求1至2任一項所述的基于片段和自注意力機制的序列推薦方法。