[發明專利]基于注意力機制的實體關系抽取方法、裝置、介質和設備

有效

• 申請號: 202110053273.2
• 申請日: 2021-01-15
• 公開（公告）號: CN112800774B
• 公開（公告）日: 2023-07-18
• 發明（設計）人: 姜小波;楊博睿;何嘉俊;鄧家風
• 申請（專利權）人: 華南理工大學
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/295;G06F40/211;G06F18/2415;G06N3/047;G06N3/0464;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 霍健蘭;梁瑩

1.一種基于注意力機制的實體關系抽取方法，其特征在于：包括如下步驟：

S1，將原始文本的內容進行預處理，并輸入到BERT預訓練模型中進行詞嵌入處理，得到文本句子每個單詞的文本向量表示；

S2，將詞嵌入后的文本向量輸入卷積神經網絡來構造句子的分布式表示，從而得到句子卷積特征向量

S3，將詞嵌入后的文本向量經過注意力權重計算單元來計算句子中每個單詞對于實體的相關程度，將這個相關程度作為句子中單詞向量的加權和，從而得到包含實體信息的語義上下文向量S_ij；

S4，將得到的句子卷積特征向量和語義上下文向量S_ij輸出向量連接成一個固定長度的特征向量，然后經過全連接神經網絡和SoftMax函數計算得到不同類別的概率，其中最大的概率對應的就是實體對的實體關系類型；

所述步驟S3包括以下分步驟：

S31，設定每句話包含T個單詞，w_it表示第i個句子中第t個單詞詞嵌入向量，其中t∈[1,T]；對于實體關系抽取任務，每個句子設定只有兩個實體，e_ij代表第i個句子中第j個實體的詞嵌入向量，其中j∈[1,2]；然后將實體向量e_ij和單詞詞嵌入向量w_it進行合并得到第t個單詞的新向量表示

S32，將單詞的新向量表示導入注意力權重計算單元中，其中注意力權重計算單元是一個多層感知器結構；注意力權重計算單元的輸出是第i個句子中第t個單詞相對于第j個實體的相關程度

S33，對于注意力權重計算單元的輸出計算歸一化重要性權重

S34，最后計算第j個實體的語義上下文向量S_ij；

所述步驟S31中，向量表示為：

所述步驟S32中，相關程度為：

其中，tanh為激活函數，W_a和W_we為權重矩陣，b_we和b_a為偏置向量；

所述步驟S33中，歸一化重要性權重為：

其中，exp為指數函數；

所述步驟S34中，語義上下文向量S_ij為：

所述步驟S4包括以下分步驟：

S41，將句子卷積特征向量和兩個實體的語義上下文向量S_i1和S_i2進行合并操作生成一個固定長度的特征向量

S42，設定實體關系類型為p種，將特征向量輸入一個全連接神經網絡，輸出一個維度為p的向量，再經過SoftMax函數來計算得到不同類型的概率，其中最大的概率對應的就是該實體對的實體關系類型。

2.根據權利要求1所述的基于注意力機制的實體關系抽取方法，其特征在于：所述步驟S2包括以下分步驟：

S21，順序地接收每個字的字嵌入，設x_i∈R^k是句子中的第i個詞對應的k維詞嵌入向量，得到長度為n的句子的詞嵌入向量為x_1:n；

S22，將句子的詞嵌入向量輸入到卷積神經網絡中，其中卷積神經網絡包括濾波器w∈R^hk，h為濾波器w的窗口大小，濾波器w以h個單詞為窗口來產生卷積特征向量，對于超出句子邊界的窗口部分填充0向量，其中x_i:i+h-1經過濾波器w以后產生卷積特征向量c_i；

濾波器w掃描句子中所有單詞窗口{x_1:h，x_2:h+1,…,x_n-h+1:n}并生成對應的卷積特征圖c；

S23，對卷積特征圖c進行max-overtime池化操作并將最大值max{c}作為該句子的句子卷積特征向量