[發(fā)明專利]一種基于文本監(jiān)督注意力的多模態(tài)廣告流行度預(yù)測方法

在審

• 申請?zhí)枺?/td>: 202111232184.0
• 申請日: 2021-10-22
• 公開（公告）號: CN113947436A
• 公開（公告）日: 2022-01-18
• 發(fā)明（設(shè)計）人: 錢洋;許華華;姜元春;柴一棟;劉業(yè)政;徐旺;凌海峰;熊迎秋
• 申請（專利權(quán)）人: 合肥工業(yè)大學(xué)
• 主分類號: G06Q30/02
• 分類號: G06Q30/02;G06F40/216;G06K9/62;G06N3/04;G06N3/08;G06Q10/04
• 代理公司: 安徽省合肥新安專利代理有限責(zé)任公司 34101
• 代理人: 陸麗莉;何梅生

本發(fā)明公開了一種基于文本監(jiān)督注意力的多模態(tài)廣告流行度預(yù)測方法，其步驟包括：1.構(gòu)建多模態(tài)廣告數(shù)據(jù)集合并表示，2.提取多模態(tài)廣告的特征，3.引入基于文本的注意力機制，4.融合多模態(tài)廣告的文本與視覺特征，5.利用融合后的全局特征預(yù)測廣告的流行度得分。本發(fā)明在預(yù)測流行度得分時，能夠綜合利用多模態(tài)廣告中的文本與視覺信息，并有效降低噪聲信息的影響，以得到有效的數(shù)據(jù)特征表示，從而能提高多模態(tài)廣告的預(yù)測精確度。

技術(shù)領(lǐng)域

本發(fā)明涉及多模態(tài)數(shù)據(jù)的預(yù)測領(lǐng)域，具體涉及一種基于文本注意力的多模態(tài)廣告流行度預(yù)測方法。

背景技術(shù)

在Web 2.0時代，在線社交媒體(如Twitter和Facebook)極大地便利了我們的日常生活。每天都有大量的文字和視覺內(nèi)容在社交媒體平臺上生成并傳播。一個有趣的發(fā)現(xiàn)是，有些內(nèi)容可以獲得數(shù)百萬的點擊、點贊、分享和評論，而有些內(nèi)容則只有較少的關(guān)注和傳播，這一發(fā)現(xiàn)促使研究人員分析這些內(nèi)容在社交媒體上的流行度。流行度預(yù)測的任務(wù)是估計用戶與給定內(nèi)容之間的交互次數(shù)(如瀏覽次數(shù)或點贊次數(shù))，或者從大量信息中提前識別出潛在的熱門內(nèi)容。目前，精準(zhǔn)流行度預(yù)測由于其廣泛的應(yīng)用，如廣告商決策、內(nèi)容推薦、輿情監(jiān)測等，越來越受到學(xué)術(shù)界和業(yè)界的重視。

最近，社交媒體內(nèi)容的流行度預(yù)測成為了一系列研究的重點。其核心思想是利用各種特征或時間序列模式，建立回歸模型或分類模型進行流行度預(yù)測，主要使用文本特征和視覺特征進行預(yù)測，文獻[Image popularity prediction in social media usingsentiment and context features.in Proceedings ofthe 23rdACM internationalconference on Multimedia.2015]結(jié)合了視覺情感特征和上下文特征(如標(biāo)簽和標(biāo)題)來進行圖像流行度預(yù)測。文獻[A multiple feature fusion approach with deep neuralnetworks.in Proceedings of the 27th ACM International Conference onMultimedia.2019]使用深度神經(jīng)網(wǎng)絡(luò)從圖像和文本中學(xué)習(xí)高級表示，然后將這些特征輸入回歸模型，預(yù)測從Flickr收集的帖子的流行度。雖然這些方法結(jié)合了視覺特征和文本特征，但它們只考慮對應(yīng)于文本內(nèi)容(如帖子)的單個圖像的影響。此外，對于圖像或文本中不相關(guān)和不重要的部分處理的忽視，使得這些方法引入噪聲信息，導(dǎo)致預(yù)測偏差。因此如何有效利用社交媒體生成內(nèi)容的文本和圖片信息來預(yù)測該內(nèi)容的流行度是一個值得研究的問題。

發(fā)明內(nèi)容

本發(fā)明為了克服現(xiàn)有技術(shù)存在的不足之處，提出一種基于文本監(jiān)督的多模態(tài)廣告流行度預(yù)測方法，以期在處理多模態(tài)數(shù)據(jù)的流行度預(yù)測任務(wù)時，綜合利用文本與視覺信息及其他輔助信息并有效降低噪聲，以快速且準(zhǔn)確地學(xué)習(xí)出數(shù)據(jù)特征表示，從而提高流行度預(yù)測的準(zhǔn)確性和精度。

本發(fā)明為達到上述發(fā)明目的，采用如下技術(shù)方案：

本發(fā)明一種基于文本監(jiān)督注意力的多模態(tài)廣告流行度預(yù)測方法的特點是按如下步驟進行：

步驟1、構(gòu)建多模態(tài)廣告數(shù)據(jù)集合D，用|D|表示多模態(tài)廣告數(shù)據(jù)集合D的數(shù)目，所述多模態(tài)廣告數(shù)據(jù)集合D中任意第i條廣告包含文本描述、圖像、標(biāo)簽、標(biāo)題、作者、時間的多模態(tài)信息，i∈[1,|D|]；

步驟1.1、構(gòu)建多模態(tài)廣告數(shù)據(jù)集合D的文本信息集合，所述文本信息集合中第i條廣告的文本信息，記為其中，w_i,n表示第i條廣告的文本信息d_i中第n個詞匯，N_i表示文本信息d_i的總詞匯量，n∈[1,N_i]；