[發(fā)明專利]一種利用多屬性多行為信息的序列推薦方法

在審

• 申請?zhí)枺?/td>: 202310194877.8
• 申請日: 2023-03-03
• 公開（公告）號: CN116108687A
• 公開（公告）日: 2023-05-12
• 發(fā)明（設計）人: 姜浩;陳金龍;寧毅
• 申請（專利權）人: 桂林電子科技大學
• 主分類號: G06F30/20
• 分類號: G06F30/20;G06F16/9535;G06F18/25;G06N3/04;G06N3/08;G06F111/08
• 代理公司: 桂林市華杰專利商標事務所有限責任公司 45112
• 代理人: 周雯

1.一種利用多屬性多行為信息的序列推薦方法，其特征在于，包括如下步驟：

1)數(shù)據(jù)預處理和嵌入處理：

定義系統(tǒng)中所有用戶的集合為用戶行為類型的集合表示為所有項目的集合為定義的項目屬性的集合為

對于用戶u的歷史交互序列表示為符號表示用戶u進行的第i次交互，每次交互表示為用戶的歷史交互序列中的每次交互包含3個部分：項目標識、項目屬性、行為類型；項目標識以項目ID表示，是項目的ID；項目屬性包含多個方面，是項目的屬性域；行為類型是指用戶關于這個項目的交互方式，是該次交互的行為類型；給定長度為t的用戶u的歷史交互序列S^u，推薦系統(tǒng)的任務是預測用戶與之交互的下一個項目

由于不同用戶的活躍程度不同，用戶的歷史交互序列的長度也會不同，而模型只接受定長的序列，所以需要將不定長的交互序列轉(zhuǎn)換為定長序列；定義n為模型能處理的最大長度，即序列長度，若序列長度大于n，取最近的n個項目；若序列長度小于n，則在序列左側(cè)使用零填充，直到序列長度為n；

在將不定長序列轉(zhuǎn)換為固定長度的序列后，將交互序列S^u拆分成三個子序列，分別為項目ID序列項目屬性序列行為類型序列然后將項目ID序列項目屬性序列進行嵌入操作，轉(zhuǎn)化為嵌入序列其中，嵌入指嵌入向量，它是實體項目在推薦算法中的稠密向量表示；

項目ID序列轉(zhuǎn)化為嵌入序列后表示為n是序列長度，d為嵌入維度；每種屬性取不同的值或元素，所以在對項目屬性進行嵌入操作時，對每種類型的屬性分別嵌入，表示為屬性嵌入是項目屬性域包含的屬性數(shù)；

2)抽取用戶多行為下的屬性興趣：

該步驟通過多行為融合屬性抽取模塊實現(xiàn)，多行為融合屬性抽取模塊由多個多行為多頭自注意力子層和多行為多層感知機子層堆疊而成，該模塊的輸入為屬性嵌入序列和行為序列，輸出是該行為序列下的融合屬性興趣序列，為了能夠充分捕獲用戶在每一個屬性上的興趣，為每一種屬性都構(gòu)建獨立的自注意力模塊，每個自注意力模塊只負責處理一種屬性信息，從而準確獲得隱藏在屬性信息中的用戶興趣；

(1)多行為多頭自注意力子層：

假設屬性f_i的第l層為多行為多頭自注意力子層，定義H^(l-1)為第l-1層的輸出，第l層的輸入，當l等于1時為定義h為注意力頭的總數(shù)，對于多行為多頭自注意力子層每一個注意力頭，H^(l-1)經(jīng)線性投影變換為查詢向量Q∈R^n×d、鍵向量K∈R^n×d、值向量V∈R^n×d，n為序列長度，d為嵌入維度，投影變換的公式為(1)：

由于注意力方法無法區(qū)分序列的前后關系，使用旋轉(zhuǎn)位置嵌入為查詢向量Q、鍵向量K、值向量V注入位置信息，注意力頭的縮放點積注意計算如公式(2)：

W^att∈R^d×d和W^agg∈R^d×d是根據(jù)行為序列生成的參數(shù)矩陣，用于體現(xiàn)序列中不同位置行為類型之間的關系，W^att和W^agg的生成過程相同；以W^att為例，創(chuàng)建可學習的個參數(shù)矩陣若查詢向量Q對應的行為類型為B_i，鍵向量K對應的行為類型為B_j，則的見公式(3)：

多頭的設計能在多個維度上進行關注，在輸出前將多個頭聚合；定義代表第l層多行為多頭自注意力子層的第i號自注意力頭，h是注意力頭的數(shù)量，是第l層的參數(shù)矩陣，多頭聚合過程見公式(4)、(5)：

(2)多行為多層感知機子層：

多頭自注意力子層聚合方式是基于注意力得分的線性加權和，需要使用多層感知機擬補非線性；為了對行為語義建模并進行特征轉(zhuǎn)換，為每種行為類型指定了不同的多層感知機子層，定義X為多層感知機的輸入，多層感知機層見公式(6)：

多行為多頭自注意力層和連接操作多行為多層感知機層之間通過層歸一化和殘差連接，見公式(7)、(8)

G^(l-1)＝LayerNorm(H^(l-1)+F_msa(H^(l-1)))????(7)，

H^(l)＝LayerNorm(G^(l-1)+F_mlp(G^(l)))????(8)，

(3)融合屬性興趣：

最后一層多行為多層感知機層的輸出作為該屬性序列的屬性，其中包含了所有行為下的輸出；根據(jù)交互序列每一次交互的行為類型選擇相應行為類型的興趣輸出，令為屬性f_i在行為b_j下抽取的興趣向量，用戶在行為b_j下的獲取融合屬性興趣的過程可通過公式(9)獲得，是投影矩陣，d是嵌入維度：

結(jié)果是輸出與行為序列相對應的融合屬性興趣，融合屬性興趣和行為序列將進入下一步預測指定行為下的用戶項目興趣；

3)預測用戶多行為的項目興趣：

這一步是為了預測指定行為下的用戶項目興趣，稱為多行為項目預測模塊；融合屬性興趣代表用戶大致的興趣偏好，但不能用來預測用戶在具體項目上的偏好，根據(jù)融合屬性興趣考察序列中每一個項目的相似性，使用注意力機制聚合相似性大的項目，多層感知機進行特征變換，多行為項目預測模塊由一個多行為交叉注意力層和一個多行為多層感知機組成，模塊的輸入是融合屬性興趣項目嵌入序列和行為序列在計算查詢向量Q時使用融合屬性興趣，計算鍵向量K、值向量V時使用項目嵌入，如公式(10)所示：

計算注意力分數(shù)的方法同上，同樣需要考慮查詢向量Q和鍵向量K的行為類型關系，見公式(2)，行為項目預測模塊同樣具有多行為多層感知機子層，見公式(6)，多行為多層感知機子層輸出全部行為的項目興趣，根據(jù)行為序列選擇相應行為類型的輸出，作用戶的項目興趣

4)指定用戶行為的項目興趣，計算其準確度：

采用二元交叉熵損失函數(shù)進行模型優(yōu)化，令t時刻模型的輸出為O_t，正例為歷史交互序列對應時刻的真實項記為e_t，負例為隨機抽取的用戶沒有交互過的項記為該時刻的二元交叉熵損失為公式(11)，·為內(nèi)積運算：

定義t為序列中的時刻，其總數(shù)即序列的長度N，序列的總數(shù)即用戶的總數(shù)對單個屬性或項目而言，二元交叉熵損失是指全部序列的全部時刻交叉熵之和，見公式(12)：

最終的損失為各屬性的損失和項目損失的和,見公式(13):

5)利用深度學習方法，學習參數(shù)，更新模型：

使用常用的梯度下降方法，即多輪的參數(shù)方向傳播來不斷優(yōu)化模型，優(yōu)化器選擇Adam。