[發明專利]社交媒體圖像流行度預測方法、系統、存儲介質及應用

在審

• 申請號: 202011148291.0
• 申請日: 2020-10-23
• 公開（公告）號: CN112396091A
• 公開（公告）日: 2021-02-23
• 發明（設計）人: 安玲玲;姚俊;陳佳煒;張文妍;張星雨;裴慶祺
• 申請（專利權）人: 西安電子科技大學;西安電子科技大學廣州研究院
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F16/55;G06N3/04;G06Q50/00
• 代理公司: 西安長和專利代理有限公司 61227
• 代理人: 黃偉洪

1.一種社交媒體圖像流行度預測方法，其特征在于，所述社交媒體圖像流行度預測方法包括：

獲取社交媒體原始數據集，包括圖片、文字、社交提示信息內容，并對數據集進行預處理；

構建基于特征級聯與密集連接的MSDNet模型，同時基于MSDNet模型進行數據集中圖像特征的提取；

利用Doc2vec模型進行文本信息向量化處理，同時構建TextCNN模型提取數據集中文本信息特征；

利用整值映射、時間尺度變換方法從數據集中提取社交提示信息特征；

融合提取出的圖像特征與文本特征，之后再與社交提示信息特征融合得到多模態信息特征；

采用極限梯度提升XGBoost方法設計回歸器執行預測任務，得到流行度預測結果。

2.如權利要求1所述的社交媒體圖像流行度預測方法，其特征在于，圖像特征提取是通過MSDNet模型的第一層以及后續層獲取圖像尺度特征圖實現，其中MSDNet模型的具體結構如下：MSDNet模型共包含L層，每一層具有S個尺度，所提取的特征圖隨著深度由左往右，尺度由上往下，從精細到粗糙，尺度s、第l層的輸出特征圖可表示為模型第一層的結構是唯一的，其在s尺度上的輸出特征可由下式給出：

在此，h₀(·)和分別表示常規的卷積變換和跨步的卷積變換，第一層的輸出為特征圖可表示為

后續層結構特征遵循密集連接的形式，MSDNet的第l層(l＞1)以s尺度輸出一組特征可由下式給出：

此處，[···]表示級聯運算符，h_l(·)表示常規卷積變換，表示跨步卷積變換，h_l和的輸出具有相同的映射大小；輸出沿通道維度串聯在一起。

3.如權利要求1所述的社交媒體圖像流行度預測方法，其特征在于，MSDNet模型能夠根據預算確定網絡深度以及運行于特征圖上的分類器數量，每一個分類器由兩個下采樣卷積層、一個平均池化層、一個線性層組成，附加至某些網絡中間層上的分類器，通過僅使用相近粗糙層特征圖進行分類，使得圖像在通過網絡所有層傳播之前能夠隨時輸出預測結果。

4.如權利要求1所述的社交媒體圖像流行度預測方法，其特征在于，文本信息的向量化處理，文本內容包含圖像描述、用戶情感值對于流行度預測有重要價值的信息；將文本內容中的“uid”，“title”，“alltags”，“concept”，“category”，“description”，“subcategory”七個屬性數據定義為文本信息，作為Doc2vec模型的訓練數據，同時將用戶ID作為隱含文本加入其中，使用戶與圖像的文本內容相關。

5.如權利要求1所述的社交媒體圖像流行度預測方法，其特征在于，包含Doc2vec模型進行文本信息向量化處理和TextCNN模型提取數據集中文本信息特征兩個過程：

所述Doc2vec模型處理中，Doc2vec訓練過程包括：

1)從已知的訓練數據中得到詞向量，softmax的參數和，以及段落向量/句向量；

2)對于新的段落，得到其向量表達，經Doc2vec預訓練得到的數據矩陣作為TextCNN模型的輸入以進行文本特征提取；

所述TextCNN模型處理中，TextCNN模型結構包括輸入層-卷積層-池化層-全連接層，輸入層為經Doc2vec處理的n*k二維矩陣，矩陣每一行代表一個長度為k的詞向量；卷積層采用多個h*k的卷積核對輸入層數據進行局部特征提取；之后由池化層的1-max pooling對卷積層特征進行抽象提取，提取出的多個特征被拼接為一個一維向量；最后該向量經全連接層特征映射得到文本特征。