[發明專利]基于微博的輿論機器人系統情感分析和圖像標注的方法

在審

• 申請號: 201910350114.1
• 申請日: 2019-04-28
• 公開（公告）號: CN110321918A
• 公開（公告）日: 2019-10-11
• 發明（設計）人: 紀榮嶸;蘇勁松;劉宗岳
• 申請（專利權）人: 廈門大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F17/27;G06F16/35
• 代理公司: 廈門南強之路專利事務所(普通合伙) 35200
• 代理人: 馬應森

1.基于微博的輿論機器人系統情感分析和圖像標注的方法，其特征在于包括基于微博的情感傾向性分析模塊和話題導向的圖像描述性文本生成模塊。

2.如權利要求1所述基于微博的輿論機器人系統情感分析和圖像標注的方法，其特征在于所述基于微博的情感傾向性分析模塊包括以下步驟：

1.1微博數據的特征抽取；

1.2多模態聯合模型的建模；

1.3情感傾向分類器。

3.如權利要求2所述基于微博的輿論機器人系統情感分析和圖像標注的方法，其特征在于在步驟1.1中，所述微博數據的特征抽取的具體方法為：網絡社交媒體中包含數據量極大、數據類型種類繁多的數據，選取的微博中出現有三種模態的數據：文本數據、圖像數據和表情符號數據；首先對三種不同模態的數據進行特征的抽取，采用多模態聯合情感分析模型，對于特征表示的選取選擇獲取簡單、性能穩定、描述性強的情感特征，其中，文本數據選取基于情感辭典同時進行部分語法處理的情感特征，圖像數據采用圖像情感檢測子ANP，表情符號數據則使用在已收集大數據集下統計所得的在新浪微博中被用戶最常使用的50個表情。

4.如權利要求2所述基于微博的輿論機器人系統情感分析和圖像標注的方法，其特征在于在步驟1.2中，所述多模態聯合模型的建模的具體方法為：將各個模態抽取到的特征進行融合的過程，根據不同模態對于情感傾向的表達有這不同的影響，應用基于概率圖的方法進行模型建立，每一個模態之間、單獨模態與情感極性之間，同時考慮每一個模態自身信息對于情感傾向的作用。

5.如權利要求2所述基于微博的輿論機器人系統情感分析和圖像標注的方法，其特征在于在步驟1.3中，所述情感傾向分類器的具體方法為：通過聯合模型對于多模態融合信息的處理，得到各個情感傾向的預測概率，根據概率大小確定微博數據的情感傾向。

6.如權利要求1所述基于微博的輿論機器人系統情感分析和圖像標注的方法，其特征在于所述話題導向的圖像描述性文本生成模塊包括以下步驟：

話題導向的圖像描述性文本生成模塊方法如下：為圖像描述性文本生成的方法，其最終目標在于針對一張圖片生成與指定話題相關的一段文本并自動發布到新浪微博；模型的輸入是所輸入的話題和檢索到的圖像，模型的輸出則是一個預測詞的序列{y_t}＝y₁,...,y_T；所有的輸入信息都被存儲在記憶元件中，主要分為圖像內存元件和話題內存元件，同時對于所有生成的預測詞，也將其存入一個記憶元件——預測詞內存元件；每一個存入內存元件的特征表示都被表示為輸入和輸出兩種特征表示，同時將對數據集中進行篩選，選出其中使用最頻繁的D個詞用以構成字典，最終預測的詞是從這D個詞的字典D中通過CNN得到；具體步驟如下：

2.1圖像數據特征處理；

2.2文本數據特征處理；

2.3話題導向的圖像描述性文本生成。

7.如權利要求6所述基于微博的輿論機器人系統情感分析和圖像標注的方法，其特征在于在步驟2.1中，所述圖像數據特征處理的具體方法為：圖像內存元件主要存儲圖片特征信息的向量化表示；使用的是在ImageNet數據集上預訓練好的ResNet101的模型抽取的圖像特征信息；同時，設計比對兩種不同的圖像特征，分別為：使用res5c層的特征圖和使用pool5層的輸出向量

8.如權利要求7所述基于微博的輿論機器人系統情感分析和圖像標注的方法，其特征在于所述使用res5c層的特征圖是圖像的空間特性；所述使用pool5層的輸出向量是圖像的整體特征；后續列舉的公式以res5c層的特征圖為例；

存儲在圖像內存元件中的res5c層的特征圖的向量表示是分開計算的，如公式(1.1)所示：

V_img＝ReLU(W_imgI^5c+b_img) (1.1)

其中，和都是模型需要通過訓練得到的參數，ReLU表示的是修正線性單元激活函數。