[發明專利]一種社交策展網絡上采集（Pin）的多模態表示方法

在審

• 申請號: 201810505633.6
• 申請日: 2018-05-24
• 公開（公告）號: CN108876643A
• 公開（公告）日: 2018-11-23
• 發明（設計）人: 毋立芳;張岱;楊博文;簡萌;劉海英;祁銘超;賈婷
• 申請（專利權）人: 北京工業大學
• 主分類號: G06Q50/00
• 分類號: G06Q50/00;G06N3/04
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 劉萍

一種社交策展網絡上采集(Pin)的多模態表示方法涉及智能媒體計算和大數據分析技術領域。對于給定采集，其圖片經圖像縮放、圖像裁剪等預處理后；輸入到一個在自動標注的圖像數據集上訓練的卷積神經網絡(CNN)中，CNN的前向傳播完成后，提取中間層激活值作為圖像表示；采集描述中的每個詞由一個在語料庫上完成訓練的word2vec映射為詞向量，所有詞向量經池化后得到文本表示；圖像及文本表示兩種模態的表示一同輸入到一個完成訓練的多模態深度玻爾茲曼機中，推斷的頂層激活概率將作為采集的多模態聯合表示；本發明將圖片、文本兩種不同模態的數據融合形成了統一的表示空間，并合理地處理了缺失值問題，是十分有效的采集多模態聯合表示方法。

技術領域

本發明涉及智能媒體計算和大數據分析技術領域，特別是涉及一種社交策展網絡上采集(Pin)的多模態表示方法。具體涉及一種利用圖片、文本等多模態信息表示社交策展網絡中采集的方法。

背景技術

伴隨著社交網絡(Facebook、Twitter、微博等)的盛行，社會化網絡引入了用戶更多的社交行為數據以及社會成員之間關系和交互行為信息。近年來，許多社交網站加入了“策展”功能，“策展”即策劃、篩選并展示，社交策展網絡允許用戶對其網絡中展示的物品進行收集、分類、分享、點贊、評論、打分、關注等操作(如圖1所示)，讓用戶自主的信息進行重分配，使得用戶自主表達自己的愛好。社交策展網絡與傳統網絡相比，加重了與用戶之間的互動，用戶表達方式更加豐富多樣。不同于傳統社交網絡——如基于信息分享的微博、Twitter，基于用戶間社交關系的Facebook等，社交策展網絡是一種由用戶的興趣點驅動，基于用戶對網絡中所展示的物品的興趣建立而成的社交網絡。對Pinterest、花瓣網這樣的基于用戶興趣的策展網絡的研究，成為了近年來的熱點之一。

與傳統社交網絡不同的是，在社交策展網絡中，只存在少量基本的用戶信息，用戶與網站展示的物品之間的互動則占據了主導地位。采集(Pin)是策展網絡中最基本的物品單位，由一張圖片和一段由用戶給出的與圖片對應的文本描述這兩種不同模態的信息組成。用戶可以將他感興趣的采集整理重組，保存到不同的畫板(Board)中，如圖1所示。這意味著用一個用戶的興趣可由他擁有的所有畫板來表示，而畫板又可以由畫板中包含的所有采集(Pin)來表示，即基于采集表示可以完整的表達社交策展網絡中不同的其他節點。因此，找到一種有效的采集的多模態表示方法，對社交策展網絡中的用戶建模、個性化推薦等領域的研究都具有重大的意義。

近年來基于多模態的相關研究主要面向跨模態檢索和基于多模態數據分類，最終得到檢索或分類結果，很難得到兩種模態數據的聯合表示，無法形成一個統一的表達空間，表達能力受限。而且這些應用均在一個固定數據庫上進行，擁有完整的兩模態數據，文本圖像數據一一對應。但由于互聯網上數據缺失問題，20-30％的采集存在文本數據缺失的現象，這使得現有的多模態相關研究很難用于社交策展網絡中的采集表示。另外,社交策展網絡中天然具有的轉采功能，使得不同用戶可以根據用戶偏好給同一個圖像(采集最重要的組成部分)不同的分類標簽，因此難以建議可用于學習的有標簽的數據集，這種由用戶轉采產生的現象，也是傳統方法難以奏效的原因之一。以上種種原因，使得現有方案對社交策展網絡中的采集的表達能力有限。

本發明基于社交策展網站花瓣網，充分利用了花瓣網中的多模態數據，并合理的處理了缺失值問題，將圖片、文本兩種不同模態的數據融合形成了統一的表達空間，得出了一種對于社交策展網絡來說十分有效的采集多模態聯合表示方法。

發明內容

本發明的目的是提供一種社交策展網絡上采集的多模態表示方法(其框架如圖1所示)。

1.一種基于多模態數據的采集(Pin)表示方法，其特征在于，包括以下步驟：

1)、采集(Pin)多模態聯合表示學習框架的構建