[發明專利]一種方面級情感分析的預訓練語義組合細化方法

在審

• 申請號: 202310463820.3
• 申請日: 2023-04-26
• 公開（公告）號: CN116468049A
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 朱新華;曠中潔;提平;彭琦
• 申請（專利權）人: 廣西師范大學
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F18/241;G06N3/045;G06N3/0442;G06N3/0464;G06N3/048;G06N3/0985
• 代理公司: 桂林市華杰專利商標事務所有限責任公司 45112
• 代理人: 覃永峰

1.一種方面級情感分析的預訓練語義組合細化方法，其特征在于包括以下步驟：

S1.將評語句子X與其待評測的方面目標A組成一個句子對，送入一個預訓練神經網絡語言模型BERT中，得到方面級情感分析的預訓練語義H，然后分別將H送入步驟S2的全局語義細化模塊與步驟S3的多粒度局部語義細化模塊；

S2.將預訓練語義H送入一個串行的多層逐點卷積層，進行逐點語義細化，得到全局語義細化的初級語義H^g，并將H^g和預訓練語義H進行組合，得到組合全局細化語義然后將的平均池化向量與中分類符的隱藏狀態相連接，通過一個門控機制組合成全局語義細化的輸出向量Z^g，最后轉步驟S4；

S3.將預訓練語義H分別送入三個窗口尺寸不相同且連續的并行卷積神經網絡，進行多粒度局部語義細化，并將三個并行卷積神經網絡的輸出進行最大化池化，然后將三個并行卷積神經網絡的最大化池化向量連接起來，得到多粒度局部語義細化的輸出向量Z^l；

S4.將全局語義細化的輸出向量Z^g與多粒度局部語義細化的輸出向量Z^l組合起來，得到待評測的方面目標A的最終情感分類向量Z，然后將Z送入一個全連接的分類層，對待評測的方面目標A進行情感預測；

S5.使用步驟S1到步驟S4，在方面級情感分析數據集Ψ的訓練集上，對預訓練神經網絡語言模型BERT進行微調；

S6.使用步驟S5微調的BERT模型，并采用步驟S1到步驟S4，對方面級情感分析數據集Ψ的測試集中的方面目標進行情感極性分類；

所述BERT模型是指Google?AI?Language提出的Bidirectional?EncoderRepresentations?from?Transformers預訓練神經網絡語言模型；

所述步驟S1具體包括：

S1.1將評語句子X與其待評測的方面目標A組成一個如下形式的BERT句子對輸入序列S：

其中，w_[cls]為BERT模型的分類符，w_[sep]為BERT模型的分隔符，為評語句子X在BERT中的詞序列，為方面目標A在BERT中的詞序列，n為句子對輸入序列S中詞的個數，d_w為BERT中詞編碼的維度；

S1.2將S送入BERT模型進行處理，得到方面級情感分析的預訓練語義H：

H＝BERT(S)＝{h₁，h₂，h₃，...，h_n}∈R^n×d?(2)

其中，{h₁，h₂，h₃，…，h_n}為S在BERT中的隱藏狀態序列，BERT(·)表示一個BERT模型，d為BERT模型的隱藏狀態的維度；

所述步驟S2具體包括：

S2.1將預訓練語義H送入一個串行的多層逐點卷積層MPC(Multi-layer?Point-wiseConvolutions)中，進行逐點語義細化，得到全局語義細化的初級語義H^g，計算過程如下：

其中，MPC中的卷積窗口大小為1，MPC中的卷積核數量設置為與BERT中隱藏狀態的維數d相同，σ₁(·)表示整流線性單元(ReLU)激活函數，符號“*”表示卷積層中所有卷積核的卷積運算，與分別是第i個卷積層的權重矩陣與偏置向量，分別為第i個與第i-1個逐點卷積層的輸出；當i等于1時：即MPC的初始輸入是BERT輸出的預訓練語義H；當i等于m時，得到全局語義細化的初級語義H^g，即m是MPC中逐點卷積的層數，它是一個可學習的動態超參數，所述動態超參數是指對于不同的數據集可以取不同值的超參數；

S2.2將H^g和預訓練語義H進行組合，得到組合全局細化語義計算過程如下：

設置一個組合選擇的動態超參數choice，如果choice為連接運算connection_operation，則由公式(4)進行組合，如果choice為殘差網絡residual_network，則由公式(5)進行組合：

其中，Residual(·)表示一個殘差網絡，MHSA(·)表示一個多頭自注意力(Multi-HeadSelf-Attention)，linear(·)表示一個將維度從n×2d變換為n×d的線性變換層(LinearTransform?Layer)，公式(4)中的+表示逐點相加，公式(5)中的；表示連接運算；

S2.3將的平均池化向量與中分類符的隱藏狀態相連接，通過一個門控機制組合成全局語義細化的輸出向量Z^g，計算過程如下：

g＝σ₂(w^sq+b^s)∈R^2d?(7)

Z^g＝g⊙q∈R^2d?(8)

其中，表示對進行平均池化，σ₂(·)表示sigmoid激活函數,w^s∈R^2d×2d是門控機制的權重，b^s是門控機制的偏置，q是的平均池化向量與相連接后的組合向量，g是q的門控向量，⊙表示逐元素相乘；

所述步驟S3具體包括：

S3.1將預訓練語義H分別送入三個窗口尺寸不相同且連續的并行卷積神經網絡，進行多粒度局部語義細化，其中將三個并行卷積神經網絡的卷積核的數目都設置為BERT隱藏狀態維數d的三分之一，并且將三個并行卷積神經網絡的窗口尺寸s₁、s₂、s₃都設置為動態超參數，則第i個并行卷積神經網絡處理H后，得到一個如下所示的卷積輸出語義：

其中，s_i為第i個并行卷積神經網絡的窗口尺寸，C_k為第k個卷積核處理H后得到的卷積向量，并且C_k，以及C_k中的第j個元素c_j計算方法如下：

其中，為第i個并行卷積神經網絡的卷積核的權重，為第i個并行卷積神經網絡的第k個卷積核的偏置，表示卷積運算，表示從H的隱藏狀態序列{h₁，h₂，…，h_n}∈R^n×d中的h_j開始，切分出一個子序列

S3.2三個并行卷積神經網絡分別按照步驟S3.1中的公式(9)到公式(11)，對H進行處理，分別得到三個卷積神經網絡的輸出語義然后對分別進行最大化池化，并將它們的池化向量連接起來，得到多粒度局部語義細化的輸出向量Z^l，計算過程如下：

其中，表示第i個Z^l，表示對進行最大化池化；

所述步驟S4具體包括：

S4.1將Z^g與Z^l組合起來，得到待評測的方面目標A的最終情感分類向量Z，計算過程如下：

Z＝[Z^g；Z^l]∈R^3d?(14)

S4.2將Z送入一個全連接的分類層，對待評測的方面目標A進行情感預測，計算過程如下：

o＝W^oZ+b^o?(15)

其中，是情感極性的表示矩陣，是一個偏置向量，d_k是情感極性類別的個數，Ω是情感極性類別的集合，y是一個被預測的情感極性，是表示所有情感極性置信分數的向量，P(y|Z)表示求待評測的方面目標A的分類向量Z在情感極性y上的預測概率，y′為Ω中任意一個情感極性，exp(·)表示以e為底的指數函數；

所述步驟S5中，對預訓練神經網絡語言模型BERT進行微調，使用如下的交叉熵損失函數計算損失誤差：

其中，T是方面級情感分析數據集Ψ的訓練集，|T|表示集合T的大小，y_i是T中第i個方面目標在評語中的情感極性標簽，Z_i是T中第i個方面目標的最終情感分類向量；

微調目標是按公式(17)最小化T中所有方面目標的交叉熵損失誤差；

所述步驟S6中，對方面目標采用如下公式進行情感極性分類：

其中，y^*為待評測的方面目標A最終評定的情感極性，表示返回使得P(y|Z)為最大值的情感極性，P(y|Z)使用公式(16)計算。

2.根據權利要求1所述的一種方面級情感分析的預訓練語義組合細化方法，其特征在于：

對步驟S2.1所述的MPC中逐點卷積的層數的動態超參數m、步驟S2.2所述的組合選擇的動態超參數choice，以及步驟S3.1所述的三個并行卷積神經網絡的窗口尺寸的動態超參數s₁、s₂、s₃，采用聯動測試的方式進行組合靈敏度分析，所述組合靈敏度分析是指將多個動態超參數進行組合，對數據集Ψ的性能進行測試，得出準確率-組合曲線，從中得到一組最佳的動態超參數組合，并將該最佳動態超參數組合設置為數據集Ψ的最終動態超參數，其中動態超參數m的取值范圍為{2，3，4，5}，動態超參數choice的取值范圍為{residual_network，connection_operation}，動態超參數s₁、s₂、s₃的取值范圍為{[2,3,4]，[3,4,5]，[4,5,6]，[5,6,7]}；

所述最佳的動態超參組合是指使得數據集Ψ的性能達到最高值的動態超參組合。