[發明專利]基于目標語義與位置融合的方面意見詞抽取方法

有效

• 申請號: 202110861377.6
• 申請日: 2021-07-29
• 公開（公告）號: CN113486673B
• 公開（公告）日: 2022-10-25
• 發明（設計）人: 劉德喜;廖黽;萬常選
• 申請（專利權）人: 劉德喜
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/284;G06F40/211;G06N3/04;G06N3/08
• 代理公司: 北京保識知識產權代理事務所(普通合伙) 11874
• 代理人: 張晶

1.基于目標語義與位置融合的方面意見詞抽取方法，將方面目標信息合并到上下文中并學習融合方面目標的上下文表示，構造新的序列標注模型，其特征在于，包括以下步驟；

步驟一：輸入層，AP-IOG模型在句子的開頭和結尾分別補上頭尾標識符；

步驟二：Inward-LSTM層，使用Inward-LSTM將包含候選意見詞的上下文信息傳遞給方面目標，把方面目標詞作為LSTM的最后一個輸入單元，能夠更好的利用方面目標的語義信息；

步驟三：Outward-LSTM層，使用Outward-LSTM將方面目標傳遞給上下文，確保針對不同的目標，每個單詞具有不同的表示形式；

步驟四：AP Global-LSTM層，使用AP Global-LSTM能獲取整個句子的語義信息，而且更好地注意到句子中的方面目標信息以及附近候選意見詞的信息，完善句子的語義信息，所述AP Global-LSTM層使用Bi-LSTM編碼獲取全局信息，使用位置注意力增強機制獲取局部信息和相對位置信息，以完善句子的語義信息；

所述位置注意力增強機制表示如下：

1)注意力機制：

Self-Attention是輸入句子Source內部元素之間的Attention機制，Query(Q)、Key(K)、Value(V)是由全局上下文表示H^G經過不同的線性變換得到，通過Self-Attention得到權重求和的表示如式(10)所示；

2)位置信息的處理方法為：

①給定一個句子s＝{w₁,w₂,....,w_n}，其中包含方面目標詞{w_l+1,...,w_r-1}，檢索到方面目標所在的位置[l+1,r-1]，設置該方面目標的相對位置l_i為0，如式(11)所示；

l_i＝0,l+1≤i≤r-1 (11)

②以方面目標為中心，在方面目標的兩側設置兩個工作指針，分別依次計算方面目標左側單詞和方面目標左側w_l+1之間的相對位置，右側單詞和方面目標右側w_r-1之間的相對位置的值，記相對位置為l_i，其計算公式如式(12)所示；

③通過查找位置嵌入表中獲得位置嵌入，其中d_p是嵌入維度，d_p與詞嵌入維度d一致，L是最大位置索引，獲取每個位置向量h^POS；

將每一個詞的全局上下文信息與該詞的位置向量進行叉乘，得到每個詞的聯合特征如式(13)所示；

所述AP Global-LSTM層表示如下：

在AP Global-LSTM中，通過將基于位置注意力增強的句子表示和Bi-LSTM的句子表示相加，獲得位置注意力增強的全局上下文表示形式如式(14)所示；

步驟五：融合層，將Inward-LSTM、Outward-LSTM和AP Global-LSTM上下文拼接起來，向量拼接使各個不同類型的特征向量充分發揮其作用，使輸入層具有更豐富的信息；

步驟六：解碼層，使用貪婪解碼作為解碼器，貪婪解碼被獨立地描述為每個位置的三類分類問題。

2.根據權利要求1所述的基于目標語義與位置融合的方面意見詞抽取方法，其特征在于，所述輸入層表示如下：

使用嵌入查找表L∈R^d×|V|生成每個單詞的輸入向量，其中d是嵌入向量的維度，|V|是{w₁,w₂,....,w_n}詞匯量，嵌入查找表將{w₁,w₂,....,w_n}映射到向量序列s＝{x₁,x₂,...,x_n}，作為詞的表示形式，其中x_i∈R^d。