[發明專利]一種基于文本監督注意力的多模態廣告流行度預測方法

在審

• 申請號: 202111232184.0
• 申請日: 2021-10-22
• 公開（公告）號: CN113947436A
• 公開（公告）日: 2022-01-18
• 發明（設計）人: 錢洋;許華華;姜元春;柴一棟;劉業政;徐旺;凌海峰;熊迎秋
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06Q30/02
• 分類號: G06Q30/02;G06F40/216;G06K9/62;G06N3/04;G06N3/08;G06Q10/04
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

1.一種基于文本監督注意力的多模態廣告流行度預測方法，其特征是按如下步驟進行：

步驟1、構建多模態廣告數據集合D，用|D|表示多模態廣告數據集合D的數目，所述多模態廣告數據集合D中任意第i條廣告包含文本描述、圖像、標簽、標題、作者、時間的多模態信息，i∈[1,|D|]；

步驟1.1、構建多模態廣告數據集合D的文本信息集合，所述文本信息集合中第i條廣告的文本信息，記為其中，w_i,n表示第i條廣告的文本信息d_i中第n個詞匯，N_i表示文本信息d_i的總詞匯量，n∈[1,N_i]；

步驟1.2、構建多模態廣告數據集合D的視覺信息集合，所述視覺信息集合中第i條廣告的視覺信息I_i，記為其中，p_i,m表示第i條廣告的視覺信息I_i中第m個圖片，M_i表示視覺信息I_i的總圖片數，m∈[1,M_i]；

步驟1.3、構建多模態廣告數據集合D的其他輔助信息集合，其中，第i條廣告的標簽信息集合記為l_i，第i條廣告的標題信息集合記為t_i，第i條廣告的作者信息集合記為a_i，第i條廣告的時間信息集合記為T_i；

步驟2、提取多模態廣告的特征；

步驟2.1、基于降噪主題模型獲取文本信息的特征表示；

步驟2.1.1、定義所有文本信息集合的主題分布為θ＝{θ₁,θ₂,…,θ_i,…,θ_|D|}，其中，θ_i表示第i條廣告的文本信息d_i的主題分布，且服從參數為α的狄利克雷分布，定義第i條廣告的文本信息d_i的主題分布θ_i由K個與流行度預測相關的主題{θ_i1,θ_i2,…,θ_ik,…,θ_iK}和一個背景主題組成，其中，θ_ik表示第i條廣告的文本信息d_i在第k個與流行度預測相關的主題上的概率分布值，k∈[1,K]；

步驟2.1.2、令φ_k表示第k個主題詞分布，且φ_k服從參數為β₀的狄利克雷分布，并有φ_k＝{φ_k1,φ_k2,…φ_kv,…φ_kV}，其中，φ_kv表示第v個詞匯被分配給第k個主題的概率，v∈[1,V]，V表示所有廣告的文本信息中不重復的詞匯總數；

令表示背景主題下的詞分布，且服從參數為β₁的狄利克雷分布，并有其中，表示第v個詞匯被分配給背景主題的概率；

步驟2.1.3、定義二元指示變量b＝(b₁,b₂,...,b_i,...,b_|D|)，其中，b_i表示第i個廣告的文本信息d_i中所有詞匯的主題所屬情況，并有其中，b_in第i條廣告的文本信息d_i中第n個詞匯w_i,n的主題所屬情況，且服從伯努利分布；

若b_in＝1，表示第i條廣告的文本信息d_i中第n個詞匯w_i,n屬于與流行度預測相關的主題，則定義第i條廣告的文本信息d_i中第n個詞匯的與流行度預測相關的主題編號為z_in，且服從參數為θ_i的多項式分布；定義第i條廣告的文本信息d_i的第n個詞匯w_i,n服從參數為的多項式分布，其中，表示第i條廣告的文本信息d_i的第n個詞匯w_i,n所屬的與流行度預測相關的第z_in個主題下的詞概率分布；

若b_in＝0，表示第i條廣告的文本信息d_i的第n個詞匯w_i,n屬于背景主題；定義第i條廣告的文本信息d_i的第n個詞匯w_i,n服從參數為的多項式分布；

步驟2.1.4、使用式(1)～式(3)所示的坍塌式吉布斯抽樣分別計算第i條廣告的文本信息d_i的主題分布θ_i、第k個與流行度預測相關的主題下的詞分布φ_k和背景主題下的詞分布

式(1)～式(3)中，表示第i條廣告的文本信息d_i中分配到第k個與流行度預測相關的主題下的詞匯的數量；表示二元變量b為1時，所有文本信息中第v個詞匯分配到第k個與流行度預測相關的主題下的數量；表示二元變量b為0時，所有文本信息中第v個詞匯分配到背景主題下的數量；

根據第k個與流行度預測相關的主題下的詞分布φ_k，取概率最大的前E個詞匯對第k個與流行度預測相關的主題進行向量表征，并結合第i條廣告的文本信息d_i的主題分布θ_i，得到文本信息的特征矩陣其中，表示第i條廣告的文本信息d_i中第k個與流行度預測相關的主題的特征表示；

步驟2.2、通過預訓練的VGG-16網絡來提取圖片區域特征；

將第i條廣告的視覺信息I_i的第m張圖片p_i,m劃分為Z個區域，得到圖片區域集合其中，表示第i條廣告的視覺信息I_i的第m張圖片p_i,m中第z個區域；將第z個區域輸入VGG-16網絡，并輸出第m張圖片p_i,m中第z個區域的特征表示v_i,m,z，從而得到圖片區域的特征表示集合V_i,m＝[v_i,m,1,…,v_i,m,z,…,v_i,m,Z]；

步驟2.3、獲取其他輔助信息的特征表示；

步驟2.3.1、獲取標簽和標題信息的特征表示；

將第i條廣告的標簽信息l_i的第j個標簽l_i,j表示為獨熱編碼y_i,j，將第i條廣告的標簽信息l_i的所有標簽均表示為相應的獨熱編碼并構成編碼向量后輸入到LSTM模型，得到標簽信息l_i的特征向量；

由標簽信息l_i的特征向量構造標簽信息l_i的標簽特征矩陣并進行均值池操作后得到第i條廣告的標簽信息l_i的特征表示f_i^label；同理，得到第i條廣告的標題信息t_i的特征表示f_i^title；

步驟2.3.2、獲取作者信息的特征表示；

使用作者信息集合a_i的粉絲數f_i^followers，作者信息集合a_i的關注數f_i^followings，作者信息集合a_i的作品數f_i^works作為第i條廣告的作者信息集合a_i的特征表示，記為f_i^author＝[f_i^followers,f_i^followings,f_i^works]；

步驟2.3.3、獲取時間信息的特征表示；

將第i條廣告的時間信息集合T_i的小時f_i^hour、星期f_i^week、日f_i^day、月f_i^month、年f_i^year作為第i條廣告的時間信息T_i的特征表示作，記為f_i^time＝[f_i^hour,f_i^week,f_i^day,f_i^month,f_i^year]；

步驟3、引入基于文本的注意力機制；

步驟3.1、引入如式(4)和式(5)所示的注意力機制，從而利用式(6)得到第i條廣告的文本信息d_i的特征表示Q為文本特征維度：

式(4)～式(6)中，為詞級別的文本特征表示的隱表示，S為隱藏層維度，W_topic為隱表示的權重矩陣，b_topic為隱表示的偏置向量，α_i,k∈R為文本特征表示的注意力得分，W_a為文本注意力得分的權重矩陣，tanh表示正切激活函數，表示文本特征表示的隱表示，k′∈[1,K]；

步驟3.2、通過基于文本的注意力機制得到每張圖片的特征表示；

利用式(7)和式(8)分別得到結合文本信息的圖片區域特征表示和第z個區域的注意力得分α_i,m,z∈R，從而利用式(9)得到第m張圖片p_i,m的特征表示

式(7)～式(9)中，W_region為圖片區域特征表示的權重矩陣，W_text為文本特征表示的權重矩陣，W_v為圖片區域注意力得分的權重矩陣；表示第i條廣告的視覺信息I_i中第m張圖片p_i,m中第z′個區域的特征表示，z′∈[1,Z]，⊙表示元素乘積；

步驟3.3、使用注意力機制融合多張圖片的特征，最終得到第i條廣告的視覺信息I_i的特征表示

利用式(10)得到第i條廣告的視覺信息I_i中第m張圖片p_i,m的隱特征表示h_i,m∈R^Q，利用式(11)計算第m張圖片p_i,m的注意力得分a_i,m∈R，利用式(12)得到最終學習到的第i條廣告的視覺信息I_i的特征表示

式(10)～式(12)中，W_image為圖片隱特征表示的權重矩陣，b_image為圖片隱特征表示的偏置向量，W_h為圖片注意力得分的權重矩陣；h_i,m′表示第i條廣告的視覺信息I_i中第m′張圖片p_i,m′的隱特征表示，m′∈[1,M_i]；

步驟4、融合多模態廣告的文本與視覺特征；

利用式(13)所示的線性函數對文本特征與視覺特征進行融合，得到第i條廣告的融合表示

式(13)中，為外積；[]表示向量矩陣的線性化；

步驟5、利用融合后的全局特征預測流行度得分；

步驟5.1、將連接起來，得到第i條廣告的全局特征f_i^global，從而得到所有廣告的全局特征f^global并輸入如式(14)所示的分類器中預測流行度得分

式(14)中，W_g和b_g為分類器的權重矩陣與偏差向量；

步驟5.2、采用如式(15)所示的二元交叉熵作為目標函數J：

式(15)中，C表示所述多模態數據集合D中作為訓練集的數據條數，y_c表示訓練集中第c條廣告的真實流行度得分，表示訓練集中第c條廣告的預測流行度得分；1＜C＜|D|；

步驟5.3、設置最大迭代次數epoch_number，利用反向傳播和梯度下降法對目標函數J進行訓練，使得J達到最小，當迭代次數達到epoch_number時，停止訓練，從而得到最優預測模型，用于對所輸入的多模態廣告數據進行流行度得分的預測。