[發明專利]一種文本情感分析模型的優化方法及裝置

在審

• 申請號: 202011573557.6
• 申請日: 2020-12-25
• 公開（公告）號: CN112597279A
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 任亮;傅雨梅;羅剛
• 申請（專利權）人: 北京知因智慧科技有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/35;G06F40/284;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 余菲

1.一種文本情感分析模型的優化方法，其特征在于，所述方法包括：

獲取輸入文本對應的第一詞向量；

將所述第一詞向量分別輸入預設的對抗Dropout的情感詞注意力模型和對抗Dropout的自適應尺度注意力模型，以分別獲得情感詞注意力特征和自適應尺度注意力特征；

對所述第一詞向量添加對抗擾動以生成第二詞向量；

將所述第二詞向量分別輸入對抗Dropout的情感詞注意力模型和隨機Dropout的情感詞注意力模型，以對所述對抗Dropout的情感詞注意力模型進行基于情感詞的注意力計算，并獲得對抗情感詞注意力特征；

將所述第二詞向量分別輸入對抗Dropout的自適應尺度注意力模型和隨機Dropout的自適應尺度注意力模型，以對所述對抗Dropout的自適應尺度注意力模型進行基于自適應尺度的注意力計算，并獲得對抗自適應尺度注意力特征；

將所述情感詞注意力特征和所述自適應尺度注意力特征進行拼接生成融合特征；

基于所述融合特征、所述對抗情感詞注意力特征和所述對抗自適應尺度注意力特征并利用分類器獲取總損失；

最小化所述總損失，以優化文本情感分析模型。

2.根據權利要求1所述的文本情感分析模型的優化方法，其特征在于，所述方法還包括：

構建LSTM模型，以生成情感詞注意力模型；

構建卷積神經網絡模型，以生成自適應尺度注意力模型。

3.根據權利要求2所述的文本情感分析模型的優化方法，其特征在于，所述將所述第一詞向量輸入對抗Dropout的情感詞注意力模型，以獲得情感詞注意力特征，包括：

通過所述LSTM模型和所述第一詞向量獲取每個時刻的隱藏層輸出狀態的注意力權重；

所述注意力權重為：

且

其中，score(h_i)＝V_αtanh(h_iW_α+bα)表示第i個時刻隱藏輸出狀態h_i的注意力得分，m表示所述輸入文本的長度，W_α表示注意力權重矩陣，b_α表示對應的偏置項；

基于所述每個時刻的隱藏層輸出狀態以及對應的注意力權重獲取所述情感詞注意力特征；

所述情感詞注意力特征為：

4.根據權利要求3所述的文本情感分析模型的優化方法，其特征在于，所述將所述第一詞向量輸入對抗Dropout的自適應尺度注意力模型，以獲得自適應尺度注意力特征，包括：

將所述第一詞向量輸入卷積核大小不同的卷積層以得到不同尺度對應的尺度特征；

將每個所述尺度特征進行標量表示并進行拼接生成標量集合；

所述標量集合為：

S＝{l∈L|s^l}；

其中，l表示第l種卷積核，L表示卷積核的種類，s^l表示所述尺度特征進行標量值，K表示尺度特征的維度，x^l表示第l種卷積核進行卷積操作后得到的尺度特征；

根據所述標量集合計算所述尺度特征的注意力權重集合；

所述注意力權重集合為：

α＝softmax(MLP(S))；

其中，MLP表示多層感知機；

根據所述尺度特征和對應的注意力權重獲取所述自適應尺度注意力特征；

所述自適應尺度注意力特征表示為：

且

其中，α^l表示第l個尺度特征的注意力權重，表示第l個尺度特征的自適應尺度注意力特征，表示自適應尺度注意力特征的集合。