[發明專利]基于多模態數據及多交互記憶網絡的方面級情感分析方法

在審

• 申請號: 202011440133.2
• 申請日: 2020-12-11
• 公開（公告）號: CN112559683A
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 何慧華
• 申請（專利權）人: 蘇州元啟創人工智能科技有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/35;G06F16/951;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 蘇州創元專利商標事務所有限公司 32103
• 代理人: 范晴

1.基于多模態數據及多交互記憶網絡的方面級情感分析方法，其特征在于，包括以下步驟：

S1：從購物網站上爬取分析對象的用戶帶圖評論的元數據；

S2：對獲取到的元數據進行清洗，篩除不相關的評論，并通過人工標注的方式，將每條元數據分別對應至少一個、至多不超過八個的方面級標簽；

S3：構建輸入編碼層和特征提取層對輸入的多模態數據和標簽進行編碼，并提取其中的文本特征和圖像特征；

S4：構建基于多交互注意力機制的記憶網絡，其中包括一個文本記憶網絡和一個視覺記憶網絡，用于學習跨模態數據引起的交互影響以及單模態數據的自我影響；

S5：構建情感分類器，從融合了多模態數據的特征向量中獲得情感分數；

S6：將數據集按照8∶1∶1的比例分割成訓練集、驗證集和測試集，并將構建好的多交互注意力機制的記憶網絡在數據集上進行訓練和推理，證明該方法在處理多模態方面級情感分類任務中有良好的表現。

2.根據權利要求1所述的基于多模態數據及多交互記憶網絡的方面級情感分析方法，其特征在于，所述單模態數據的獲取步驟包括：

S31：使用雙向長短期記憶網絡模型進行方面特征嵌入，給定方面短語A＝{A₁，A₂，...，A_N}，則每個單詞A_j的D_text維嵌入矢量a_j通過單詞表示方法進行初始化；在每個時間步，長短期記憶網絡單元都會學習嵌入a_i的每個方面單詞的隱藏表示從而獲得最終方面特征向量；

S32：給定一個圖像集{I₁，I₂，...，I_K}，使用預訓練好的卷積神經網絡，并刪除頂部的完全連接層，以從每個圖像集中提取D_img維視覺特征向量x_k，然后長短期記憶網絡單元將視覺特征向量x_k放入隱藏空間；

S33：給定文本內容T＝{W₁，W₂，...，W_L}，將每個單詞W_i嵌入到單詞向量中，并通過單詞表示方法進行初始化；長短期記憶網絡單元將詞嵌入wi作為輸入并輸出隱藏狀態

3.根據權利要求1所述的一種基于多模態數據及多交互記憶網絡的方面級情感分析方法，其特征在于，步驟S4中，所述構建基于多交互注意力機制的記憶網絡的步驟包括：

S41：構建文本記憶網絡提取詞匯來表達情感，并用給定方面的表示形式聚合文本記憶，以解決方面對文本帶來的影響；它以外部文本記憶矩陣M^T和方面特征向量v^A作為輸入，并通過多層感知器網絡將每段文本記憶器與方面特征向量v^A組合在一起，以生成文本隱藏表示h_i；最后，關注層使用關注權重a_i通過這些文本存儲塊的加權平均值輸出文本特征向量v_text；

S42：構建視覺記憶網絡將圖像特征與給定方面的表征相結合，以完全捕獲方面對圖像帶來的影響；將視覺記憶M^I和方面特征向量v^A作為視覺記憶網絡的輸入，以提取視覺特征向量v_img。

4.根據權利要求1所述的基于多模態數據及多交互記憶網絡的方面級情感分析方法，其特征在于，所述步驟S5中，情感分類器構成方法包括：經過H次交互式記憶躍點后，提取GRU的最后輸出作為最終的文本和視覺特征向量，并將它們連接起來作為softmax層的輸入，以預測某個方面的情感得分。

5.根據權利要求2所述的基于多模態數據及多交互記憶網絡的方面級情感分析方法，其特征在于，步驟S31中，所述最終方面特征向量v^A采用所有隱藏表示形式v_j的平均值：

步驟S32中，還堆疊每個隱藏狀態以構建視覺記憶M^I，該記憶網絡記錄所有視覺信息

步驟S33中，堆疊隱藏狀態并將它們表示為外部文本存儲矩陣