[發(fā)明專利]一種無拓?fù)浣Y(jié)構(gòu)的社交消息傳播范圍預(yù)測方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201911216093.0
• 申請(qǐng)日: 2019-12-02
• 公開（公告）號(hào): CN110995485B
• 公開（公告）日: 2022-03-04
• 發(fā)明（設(shè)計(jì)）人: 劉勇;劉子圖;李曉坤
• 申請(qǐng)（專利權(quán)）人: 黑龍江大學(xué)
• 主分類號(hào): H04L41/147
• 分類號(hào): H04L41/147;H04L51/52
• 代理公司: 哈爾濱市松花江專利商標(biāo)事務(wù)所 23109
• 代理人: 時(shí)起磊

1.一種無拓?fù)浣Y(jié)構(gòu)的社交消息傳播范圍預(yù)測方法，其特征在于：所述方法具體過程為：

步驟一、根據(jù)消息動(dòng)作日志中的傳播時(shí)間差為每個(gè)消息構(gòu)造一個(gè)加權(quán)的傳播圖，傳播圖邊上的數(shù)字代表用戶之間的影響概率，在傳播圖構(gòu)造完成之后，使用隨機(jī)游走方式從傳播圖中提取若干條該消息可能的傳播路徑；

步驟二、使用word2vec方法計(jì)算出消息的傳播路徑上每個(gè)目標(biāo)用戶的初始特征向量；

步驟三、將消息的傳播路徑上的每個(gè)目標(biāo)用戶的初始特征向量送入Bi-GRU中得到傳播路徑上每個(gè)目標(biāo)用戶的最終向量表示；

所述Bi-GRU為雙向門控制循環(huán)神經(jīng)網(wǎng)絡(luò)；

步驟四、基于傳播路徑上每個(gè)目標(biāo)用戶的最終向量表示和注意力機(jī)制，計(jì)算出每個(gè)目標(biāo)消息的傳播特征向量；

步驟五、構(gòu)造加權(quán)傳播圖、隨機(jī)游走、word2vec計(jì)算其他消息參與用戶的特征向量，然后構(gòu)造其他消息的傳播向量；

基于其他消息的傳播向量，使用梯度下降方法計(jì)算出其他消息的影響向量；

步驟六、將步驟四得到的目標(biāo)消息的傳播特征向量和其他消息的影響向量結(jié)合在一起，使用MLP擬合出目標(biāo)消息的增量傳播范圍；

所述步驟一中根據(jù)消息動(dòng)作日志中的傳播時(shí)間差為每個(gè)消息構(gòu)造一個(gè)加權(quán)的傳播圖，傳播圖邊上的數(shù)字代表用戶之間的影響概率，在傳播圖構(gòu)造完成之后，使用隨機(jī)游走方式從傳播圖中提取若干條該消息可能的傳播路徑；具體過程為：

假設(shè)用戶V₁和V₂接受消息的時(shí)間分別為t₁和t₂，并且t₁t₂，則用戶V₁對(duì)V₂的影響概率由公式(1)定義：

其中，μ為調(diào)整時(shí)間差影響的超參數(shù)；

計(jì)算出每個(gè)消息中用戶之間的影響概率后，根據(jù)影響概率為每個(gè)消息構(gòu)造一個(gè)加權(quán)圖，在得到加權(quán)圖后，再對(duì)加權(quán)圖歸一化，使得每個(gè)節(jié)點(diǎn)到其他節(jié)點(diǎn)的邊的概率和為1；

在歸一化的加權(quán)圖上根據(jù)邊上的概率進(jìn)行隨機(jī)游走，每次游走的開始節(jié)點(diǎn)都是接受消息的第一個(gè)用戶；

針對(duì)每個(gè)消息，采樣K條路徑，并且每條路徑的長度為T，即每條路徑最多包含T個(gè)節(jié)點(diǎn)；當(dāng)游走過程中遇到某條路徑長度小于T的時(shí)候，在后面添加若干補(bǔ)充位，讓每條路徑長度都等于T；

所述步驟二中使用word2vec方法計(jì)算出消息的傳播路徑上每個(gè)目標(biāo)用戶的初始的特征向量；具體過程為：

在抽取了所有消息的傳播路徑后，將每條傳播路徑當(dāng)作一個(gè)句子，路徑上的每個(gè)用戶當(dāng)作句子中的單詞，輸入到word2vec的skip-gram模型中，得到每個(gè)目標(biāo)用戶的初始特征向量；用戶初始的特征向量的維度為H；

所述步驟三中將消息的傳播路徑上的每個(gè)目標(biāo)用戶的初始特征向量送入Bi-GRU中得到傳播路徑上每個(gè)目標(biāo)用戶的最終向量表示；具體過程為：

其中，W和U作為訓(xùn)練期間學(xué)習(xí)的GRU參數(shù)，r_i為更新門，W^r為權(quán)重參數(shù)，U^r為權(quán)重參數(shù)，b^r為權(quán)重參數(shù)，σ為激活函數(shù)，u_i為重置門，W^u為權(quán)重參數(shù)，U^u為權(quán)重參數(shù)，b^u為權(quán)重參數(shù)，為候選狀態(tài)，W^h為權(quán)重參數(shù)，U^h為權(quán)重參數(shù)，b^h為權(quán)重參數(shù)，y_i為輸出層的輸出，W^o為權(quán)重參數(shù)；h_i為隱藏狀態(tài)；i表示傳播路徑中第i個(gè)節(jié)點(diǎn)；用戶節(jié)點(diǎn)向量x_i和隱藏狀態(tài)h_i-1一起作為Bi-GRU模型輸入，并通過GRU的公式(5)計(jì)算更新權(quán)重參數(shù)；

每條傳播路徑經(jīng)過GRU處理后，會(huì)得到該路徑上每個(gè)目標(biāo)用戶的最終向量表示(m₁,m₂,m₃,……)；

所述步驟四中基于傳播路徑上每個(gè)目標(biāo)用戶的最終向量表示和注意力機(jī)制，計(jì)算出每個(gè)目標(biāo)消息的傳播特征向量；具體過程為：

使用注意力機(jī)制合并用戶的最終向量表示，得到該傳播路徑的向量表示，最后對(duì)所有傳播路徑的向量表示累加求和，得到目標(biāo)消息的傳播特征向量h(a)，如公式(6)所示：

其中，K代表消息a上抽取的傳播路徑數(shù)，T表示每條傳播路徑的長度，m_ki是通過GRU得到的第k條路徑上第i個(gè)用戶的最終用戶向量，λ_i為第i個(gè)節(jié)點(diǎn)的權(quán)重，并且滿足

所述步驟五中構(gòu)造加權(quán)傳播圖、隨機(jī)游走、word2vec方法計(jì)算其他消息參與用戶的特征向量，然后構(gòu)造其他消息的傳播向量；

基于其他消息的傳播向量，使用梯度下降方法計(jì)算出其他消息的影響向量；具體過程為：

設(shè)當(dāng)前的目標(biāo)消息為a，a發(fā)生時(shí)間為t_a；如果消息e在消息a之前發(fā)生，并且消息e的發(fā)生時(shí)間與消息a的發(fā)生時(shí)間距離近，那么消息e的傳播會(huì)對(duì)消息a的傳播產(chǎn)生影響；獲取在t_a之前時(shí)間段τ內(nèi)發(fā)生的影響消息集合S_a＝{e₁,e₂,…,e_m}；

假設(shè)影響消息集合S_a＝{e₁,e₂,…,e_m}中每個(gè)消息截止到時(shí)間t_a時(shí)刻的傳播范圍分別為n₁，n₂，…，n_m，發(fā)生時(shí)間分別為t₁，t₂，…，t_m，并且滿足t₁t₂…t_mt_a，t_a-t₁τ；

對(duì)影響消息集合S_a＝{e₁,e₂,…,e_m}中的某個(gè)消息e_i來說，消息e_i的影響能力與傳播能力共同作用決定了消息e_i在t_a時(shí)的傳播范圍n_i；

使用d維向量p_i表示消息e_i的傳播能力，使用d維向量q_i表示消息e_i的影響向量，構(gòu)造下面的目標(biāo)函數(shù)：

式中，m為S_a中的消息數(shù)量；

消息e_i的傳播向量p_i來自于參與消息e_i的用戶傳播能力，因此消息e_i的傳播向量p_i表示為：

其中，x_j是使用word2vec的skip-gram模型從傳播路徑上得到的用戶向量，j為參與消息傳播的用戶數(shù)量；

因?yàn)橄_i的傳播范圍為n_i，所以有n_i個(gè)不同的用戶向量x_j；對(duì)于消息e_i的影響向量q_i，使用梯度下降算法求解，使公式(2)的目標(biāo)函數(shù)最小化；

在得到影響消息集合S_a＝{e₁,e₂,…,e_m}中每個(gè)消息的影響向量{q₁,q₂,…,q_m}后，使用如下方式計(jì)算整個(gè)消息集合S_a對(duì)當(dāng)前目標(biāo)消息a的影響向量q_Sa；

式中，q_j為影響消息集合的影響向量，t_j為影響消息集合中每個(gè)消息發(fā)生的初始時(shí)間；

所述對(duì)于消息e_i的影響向量q_i，使用梯度下降算法求解，使公式(2)的目標(biāo)函數(shù)最小化，具體過程為：

將其他消息的傳播向量p_i，i＝1.2…,m；其他消息當(dāng)前傳播范圍n_i，i＝1.2…,m；學(xué)習(xí)率作為輸入；

第一步初始化q_i，i＝1.2…,m，然后多輪重復(fù)迭代和更新q_i的值使公式(2)的差值最小；

式中，Δg為中間變量；為學(xué)習(xí)率；

所述步驟六中將步驟四得到的目標(biāo)消息的傳播特征向量和其他消息的影響向量結(jié)合在一起，使用MLP擬合出目標(biāo)消息的傳播范圍；具體過程為：

目標(biāo)消息a的傳播范圍依賴于目標(biāo)消息a的傳播向量h(a)和其他消息的影響向量q_Sa，將目標(biāo)消息a的傳播向量h(a)和其他消息的影響向量q_Sa融合為一條向量l(a)，表達(dá)式如下：

l(a)＝h(a)+αq_Sa (7)

其中，α為其他消息影響向量的權(quán)重；

將融合后的向量l(a)作為多層感知機(jī)的輸入，輸出預(yù)測的目標(biāo)消息a的傳播范圍f(a)＝MLP(l(a))；

其中MLP為一個(gè)多層感知機(jī)，f(a)為目標(biāo)消息a的傳播范圍。