[發明專利]一種基于文本監督注意力的多模態廣告流行度預測方法

在審

• 申請號: 202111232184.0
• 申請日: 2021-10-22
• 公開（公告）號: CN113947436A
• 公開（公告）日: 2022-01-18
• 發明（設計）人: 錢洋;許華華;姜元春;柴一棟;劉業政;徐旺;凌海峰;熊迎秋
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06Q30/02
• 分類號: G06Q30/02;G06F40/216;G06K9/62;G06N3/04;G06N3/08;G06Q10/04
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

本發明公開了一種基于文本監督注意力的多模態廣告流行度預測方法，其步驟包括：1.構建多模態廣告數據集合并表示，2.提取多模態廣告的特征，3.引入基于文本的注意力機制，4.融合多模態廣告的文本與視覺特征，5.利用融合后的全局特征預測廣告的流行度得分。本發明在預測流行度得分時，能夠綜合利用多模態廣告中的文本與視覺信息，并有效降低噪聲信息的影響，以得到有效的數據特征表示，從而能提高多模態廣告的預測精確度。

技術領域

本發明涉及多模態數據的預測領域，具體涉及一種基于文本注意力的多模態廣告流行度預測方法。

背景技術

在Web 2.0時代，在線社交媒體(如Twitter和Facebook)極大地便利了我們的日常生活。每天都有大量的文字和視覺內容在社交媒體平臺上生成并傳播。一個有趣的發現是，有些內容可以獲得數百萬的點擊、點贊、分享和評論，而有些內容則只有較少的關注和傳播，這一發現促使研究人員分析這些內容在社交媒體上的流行度。流行度預測的任務是估計用戶與給定內容之間的交互次數(如瀏覽次數或點贊次數)，或者從大量信息中提前識別出潛在的熱門內容。目前，精準流行度預測由于其廣泛的應用，如廣告商決策、內容推薦、輿情監測等，越來越受到學術界和業界的重視。

最近，社交媒體內容的流行度預測成為了一系列研究的重點。其核心思想是利用各種特征或時間序列模式，建立回歸模型或分類模型進行流行度預測，主要使用文本特征和視覺特征進行預測，文獻[Image popularity prediction in social media usingsentiment and context features.in Proceedings ofthe 23rdACM internationalconference on Multimedia.2015]結合了視覺情感特征和上下文特征(如標簽和標題)來進行圖像流行度預測。文獻[A multiple feature fusion approach with deep neuralnetworks.in Proceedings of the 27th ACM International Conference onMultimedia.2019]使用深度神經網絡從圖像和文本中學習高級表示，然后將這些特征輸入回歸模型，預測從Flickr收集的帖子的流行度。雖然這些方法結合了視覺特征和文本特征，但它們只考慮對應于文本內容(如帖子)的單個圖像的影響。此外，對于圖像或文本中不相關和不重要的部分處理的忽視，使得這些方法引入噪聲信息，導致預測偏差。因此如何有效利用社交媒體生成內容的文本和圖片信息來預測該內容的流行度是一個值得研究的問題。

發明內容

本發明為了克服現有技術存在的不足之處，提出一種基于文本監督的多模態廣告流行度預測方法，以期在處理多模態數據的流行度預測任務時，綜合利用文本與視覺信息及其他輔助信息并有效降低噪聲，以快速且準確地學習出數據特征表示，從而提高流行度預測的準確性和精度。

本發明為達到上述發明目的，采用如下技術方案：

本發明一種基于文本監督注意力的多模態廣告流行度預測方法的特點是按如下步驟進行：

步驟1、構建多模態廣告數據集合D，用|D|表示多模態廣告數據集合D的數目，所述多模態廣告數據集合D中任意第i條廣告包含文本描述、圖像、標簽、標題、作者、時間的多模態信息，i∈[1,|D|]；

步驟1.1、構建多模態廣告數據集合D的文本信息集合，所述文本信息集合中第i條廣告的文本信息，記為其中，w_i,n表示第i條廣告的文本信息d_i中第n個詞匯，N_i表示文本信息d_i的總詞匯量，n∈[1,N_i]；