[發明專利]一種文本情感分析模型的優化方法及裝置

在審

• 申請號: 202011573557.6
• 申請日: 2020-12-25
• 公開（公告）號: CN112597279A
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 任亮;傅雨梅;羅剛
• 申請（專利權）人: 北京知因智慧科技有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/35;G06F40/284;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 余菲

本申請實施例提供一種文本情感分析模型的優化方法及裝置，涉及文本分析技術領域。該方法包括將第一詞向量輸入對抗Dropout的情感詞注意力模型和自適應尺度注意力模型，獲得情感詞注意力特征和自適應尺度注意力特征；將添加對抗擾動的第二詞向量輸入對抗Dropout的情感詞注意力模型、隨機Dropout的情感詞注意力模型、對抗Dropout的自適應尺度注意力模型和隨機Dropout的自適應尺度注意力模型，獲得對抗情感詞注意力特征、對抗自適應尺度注意力特征；再并最小化總損失，以優化模型，該方法結合情感詞的全局注意力機制、自適應尺度的局部注意力機制和對抗Dropout并對模型進行優化，提高模型的魯棒性和情感分類結果的準確性，解決了現有方法魯棒性較低、結果不準確的問題。

技術領域

本申請涉及文本分析技術領域，具體而言，涉及一種文本情感分析模型的優化方法及裝置。

背景技術

隨著社交軟件和電商平臺等應用的蓬勃發展，存在于這些應用中的海量文本數據蘊含著大眾對某些熱點事件的情感態度，傳統的文本情感分析方法魯棒性較低，在文本被惡意添加擾動或被破壞時，將對情感分析系統造成一定的干擾，導致結果誤判。

發明內容

本申請實施例的目的在于提供一種文本情感分析模型的優化方法及裝置，結合基于情感詞的全局注意力機制、基于自適應尺度的局部注意力機制和對抗Dropout并對模型進行優化，提高模型的魯棒性和情感分類結果的準確性，解決現有方法魯棒性較低、結果不準確的問題。

本申請實施例提供了一種文本情感分析模型的優化方法，所述方法包括：

獲取輸入文本對應的第一詞向量；

將所述第一詞向量分別輸入預設的對抗Dropout的情感詞注意力模型和對抗Dropout的自適應尺度注意力模型，以分別獲得情感詞注意力特征和自適應尺度注意力特征；

對所述第一詞向量添加對抗擾動以生成第二詞向量；

將所述第二詞向量分別輸入對抗Dropout的情感詞注意力模型和隨機Dropout的情感詞注意力模型，以對所述對抗Dropout的情感詞注意力模型進行基于情感詞的注意力計算，并獲得對抗情感詞注意力特征；

將所述第二詞向量分別輸入對抗Dropout的自適應尺度注意力模型和隨機Dropout的自適應尺度注意力模型，以對所述對抗Dropout的自適應尺度注意力模型進行基于自適應尺度的注意力計算，并獲得對抗自適應尺度注意力特征；

將所述情感詞注意力特征和所述自適應尺度注意力特征進行拼接生成融合特征；

基于所述融合特征、所述對抗情感詞注意力特征和所述對抗自適應尺度注意力特征并利用分類器獲取總損失；

最小化所述總損失，以優化文本情感分析模型。

在上述實現過程中，本申請中的融合對抗訓練和對抗Dropout方法的文本情感分析模型，采用對抗訓練在輸入層對文本添加對抗擾動來訓練對抗樣本，同時在網絡的隱藏層進行對抗性Dropout，以動態遮蔽適當數量的神經元，從而提高模型魯棒性，注意力機制包括基于情感詞的全局注意力機制和基于自適應尺度的局部注意力機制，將兩者結合可提高情感分類結果的準確性，通過總損失表征模型的性能，并通過減小總損失對模型進行優化，從而進一步提高模型性能。

進一步地，所述方法還包括：

構建LSTM模型，以生成情感詞注意力模型；

構建卷積神經網絡模型，以生成自適應尺度注意力模型。

在上述實現過程中，情感詞注意力機制可采用LSTM模型實現，自適應尺度注意力機制可采用卷積神經網絡模型實現，將兩者結合，前者既關注到情感詞又保留了文本信息的完整性，后者既可以自適應地選擇合適的尺度又捕捉到重要的局部信息，因此有利于提高情感分類結果的準確性。