[發明專利]一種基于協同注意力機制的短視頻點擊率預測方法

有效

• 申請號: 202011381704.X
• 申請日: 2020-12-01
• 公開（公告）號: CN112395505B
• 公開（公告）日: 2021-11-09
• 發明（設計）人: 顧盼
• 申請（專利權）人: 中國計量大學
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06F16/735;G06N3/04;G06Q10/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于協同注意力機制的短視頻點擊率預測方法，其特征在于：

將用戶點擊序列和目標短視頻映射到多方面(aspect)空間下，并得到多方面(aspect)空間下的用戶和短視頻表征；對于一個用戶的點擊行為序列可以表示為X＝[x₁，…，x_n]，其中是用戶點擊了的短視頻封面圖特征向量，d是特征向量長度；將用戶點擊序列和目標短視頻映射到多方面(aspect)空間下的向量表征為：

q_i＝u_i＝H_ix_new

u_i|j＝H_ix_j

其中，x_new為目標短視頻向量表征，x_j是輸入短視頻序列中第j個短視頻向量表征，H_i是短視頻到第i個方面(aspect)空間的轉換矩陣，短視頻方面(aspect)的個數是M；目標短視頻在不同方面(aspect)空間下的向量表征表示為得到用戶短視頻序列在不同方面(aspect)空間下的向量表征后，使用長短時記憶網絡(LSTM)去抽取不同空間下的短視頻序列性：

p_i＝LSTM_i(u_i|j)

其中，u_i|j表示用戶短視頻序列中第j個短視頻在第i個方面(aspect)空間下的表征；LSTM_i(u_i|j)表示采用長短時記憶網絡對第i個方面(aspect)空間下的[u_i|1，u_i|2，u_i|3，...，u_i|l]列表進行建模，長短時記憶網絡(LSTM)屬于循環神經網絡方法(RNN)；用戶在不同方面(aspect)空間下的向量表征表示為

利用協同注意力(co-attention)機制得到用戶和目標短視頻的不同方面(aspect)的重要性；

S＝φ(PW_sQ^T)

α_u＝softmax(φ(PW_x+S^T(QW_y))v_x)

α_new＝softmax(φ(QW_y+S(PW_x))v_y)

其中，P是用戶在不同方面(aspect)空間下的向量表征，Q是目標短視頻在不同方面(aspect)空間下的向量表征；W_s、W_x、W_y、v_x和v_y是模型訓練參數，φ是ReLU激活函數，公式為φ(x)＝max(0，x)；softmax表示softmax函數；矩陣S表示用戶在不同方面(aspect)空間下的向量表征和目標短視頻在不同方面(aspect)空間下的向量表征的相似度；

根據用戶和目標短視頻多方面(aspect)空間下的表征，以及相對應的重要性，預測用戶對目標短視頻的點擊率；

其中，α_u，i是用戶第i個方面(aspect)特征的重要性，α_new，i是目標短視頻第i個方面(aspect)特征的重要性；p_i是用戶在第i個方面(aspect)空間下的向量表征，q_i是目標短視頻在第i個方面(aspect)空間下的向量表征；參數b是偏置標量；σ是sigmoid激活函數；

根據模型特性，設計損失函數；通過用戶對目標短視頻的點擊率預測值計算預測值和真實值y之間的誤差，進而使用誤差來更新模型參數；我們采用交叉熵損失函數來指導模型參數的更新過程：

其中，y∈{0，1}是真實值，代表用戶是否點擊了目標短視頻；σ是sigmoid函數；最后采用Adam優化器更新模型參數。

2.根據權利要求1所述的一種基于協同注意力機制的短視頻點擊率預測方法，其特征在于：所述長短時記憶網絡(LSTM)結構為：

i_j＝σ(W_iu_j+U_ih_j-1+b_i)

f_j＝σ(W_fu_j+U_fh_j-1+b_f)

o_j＝σ(W_ou_j+U_oh_j-1+b_o)

c_j＝i_jtanh(W_cu_j+U_ch_j-1+b_c)+f_jc_j-1

h_j＝o_jc_j

其中，不同方面(aspect)空間下的長短時記憶網絡結構相同且參數不共享，為了表述方便，以上公式省略方面(aspect)空間參數i；長短期記憶網絡的最后一層的隱藏狀態h_j的輸出就是用戶在當前興趣空間下的興趣向量表征；u_j是當前層的節點輸入，W_i、U_i、W_f、U_f、W_o和U_o分別是控制輸入門i_j、遺忘門f_j和輸出門o_j的參數；σ為sigmoid函數；所有這些參數和輸入：隱層狀態h_j-1和當前輸入u_j共同參與計算，來輸出結果h_j。