[發明專利]一種基于深度學習的電商評論情感分析系統

在審

• 申請號: 202111328673.6
• 申請日: 2021-11-10
• 公開（公告）號: CN114036931A
• 公開（公告）日: 2022-02-11
• 發明（設計）人: 賈若藝;梁少華
• 申請（專利權）人: 長江大學
• 主分類號: G06F40/242
• 分類號: G06F40/242;G06F40/284;G06F16/35;G06N3/08;G06Q30/02
• 代理公司: 鄭州豫原知識產權代理事務所(普通合伙) 41176
• 代理人: 軒麗杰

1.一種基于深度學習的電商評論情感分析系統，其特征在于，包括評論提取模塊、極性分類模塊、深度學習模塊、詞向量匹配模塊、情感屬性詞提取模塊、情感屬性詞融合模塊、詞義語序損失修正模塊和屬性情感標簽提取模塊；

評論提取模塊，用于提取產品的評論數，并生成產品評論集；

極性分類模塊，用于評論集的情感極性分類，建立產品屬性情感標簽；

深度學習模塊，采用bert的Transformer的算法框架捕捉語句中的雙向關系，使用MaskLanguage Model(MLM)[3]和Next Sentence Prediction(NSP)的多任務訓練目標，通過在海量的語料的基礎上運行自監督學習方法為單詞學習一個好的特征表示，生成詞向量預訓練詞典；

詞向量匹配模塊，用于對評論集與詞向量預訓練詞典進行關鍵詞匹配，確定對詞向量語言表示模型；

情感屬性詞提取模塊，神經網絡模型對評論集的情感屬性詞進行提取；

情感屬性詞融合模塊，用于將情感屬性詞和詞向量語言表示模型進行詞義融合；

詞義語序損失修正模塊，用于對融合后屬性情感初始化標簽進行詞義和語序的修正，修正生成屬性情感預選標簽合集；

屬性情感標簽提取模塊，用于對屬性情感預選標簽合集進行情感度計算，并對情感度進行對比，同時對產品符合度進行匹配，進行屬性情感標簽的篩選提取。

2.根據權利要求1所述的一種基于深度學習的電商評論情感分析系統，其特征在于：所述極性分類模塊，在進行評論集的情感極性分類時，包括對產品詞的提取、屬性詞的提取和情感詞的提取，其中對產品詞與產品本身進行匹配度對比，確定評論正確值，對評論集極性分類及凈化處理。

3.根據權利要求1所述的一種基于深度學習的電商評論情感分析系統，其特征在于：所述深度學習模塊采用bert的Transformer的算法框架捕捉語句中的雙向關系，使用MaskLanguage Model(MLM)[3]和Next Sentence Prediction(NSP)的多任務訓練目標，通過在海量的語料的基礎上運行自監督學習方法為單詞學習一個好的特征表示，主要包括：

表層詞集輸入，建立算法框架；

隱藏層結構擴展，對相鄰框架和多層結構進行神經元相互連接，建立卷積神經網絡模型、循環神經網絡模型和長短期記憶神經網絡模型，完成詞向量的預訓練；

輸出層完成對生成詞向量的輸出，生成詞向量預訓練詞典。

4.根據權利要求1所述的一種基于深度學習的電商評論情感分析系統，其特征在于：所述情感屬性詞提取模塊，運用bert的神經網絡模型對評論集的情感屬性詞進行提取，其中包括：

對帶有情感屬性的目標詞進行標記，建立深度學習模型，學習蘊含屬性情感信息的詞語詞向量表示，訓練描述過程；

預測各個情感標簽的概率分布，對概率值最高的標簽類標記為預測目標；

建立多任務模型，對預測目標進行bert微調，生成標志特征量，根據任務類型建立損失函數，并進一步通過一層任務模型全連接的微調，確定情感屬性詞向量。

5.根據權利要求4所述的一種基于深度學習的電商評論情感分析系統，其特征在于：所述bert微調包括：

給定一個前提，根據這個前提去推斷假設與前提的關系，該任務的關系分為三種，蘊含關系、矛盾關系和中立關系，發掘前提和假設兩個句子之間的交互信息；

基于Quora，判斷Quora上的兩個問題句是否表示的是一樣的意思；

判斷文本是否包含問題的答案；

預測兩個句子的相似性，判斷兩個句子是否等階；

對只是蘊含關系的二分類判斷，減少數據集，確定情感屬性詞向量。

6.根據權利要求1所述的一種基于深度學習的電商評論情感分析系統，其特征在于：所述情感屬性詞融合模塊，將情感屬性詞和詞向量語言表示模型進行詞義融合，融合時，對融合過程進行初步計算，確定詞向量語言表示模型的詞義屬性，確定情感屬性詞的詞義定位，將情感屬性詞和詞向量語言表示模型進行詞義疊加，形成新的屬性情感初始化標簽。

7.根據權利要求1所述的一種基于深度學習的電商評論情感分析系統，其特征在于：所述詞義語序損失修正模塊讀取屬性情感初始化標簽，通過邏輯計算確定屬性情感初始化標簽的語序和詞義的正確性，確定詞義或語序存在邏輯錯誤，則進行詞義和語序的修訂。