[發明專利]基于類型關聯特征增強的領域文本實體關系抽取方法

有效

• 申請號: 202310440331.6
• 申請日: 2023-04-23
• 公開（公告）號: CN116167368B
• 公開（公告）日: 2023-06-27
• 發明（設計）人: 相艷;趙學東;柳如熙;線巖團
• 申請（專利權）人: 昆明理工大學
• 主分類號: G06F40/279
• 分類號: G06F40/279;G06N3/08;G06N3/0464;G06F40/242
• 代理公司: 昆明隆合知識產權代理事務所(普通合伙) 53220
• 代理人: 何嬌

1.基于類型關聯特征增強的領域文本實體關系抽取方法，其特征在于：所述實體關系抽取方法包括如下步驟：

Step1、構建領域詞典；

Step2、將實體所對應的所有字符特征融合得到實體特征，并構建實體類型關系矩陣得到實體對的類型關聯特征；

Step3、將句子中實體所對應的字符特征求和，得到句子中頭、尾實體的特征，通過交互門控機制將其與頭、尾實體的類型關聯特征拼接，得到融合類型關聯特征的實體對特征；

Step4、通過交叉熵損失函數計算損失，使用argmax(?)函數將融合類型關聯特征的實體對特征解碼，預測實體關系；

所述Step2中，得到句子的字符編碼后將其輸入到BERT編碼器訓練得到字符特征，將實體所對應的所有字符特征融合得到實體特征，并構建實體間關系參數矩陣來學習表示類型間關系；

所述Step2具體包括如下：

Step2.1、對于輸入的文本序列，其中x_m表示句子中的第m個字符；通過實體位置坐標確定實體位置，并在實體的開始和結束位置前后打標得到標記后的文本序列，頭實體開始位置前標記s、頭實體結束位置前標記/s、尾實體開始位置前標記o、尾實體結束位置前標記/o；同時，得到標記后的新實體位置坐標，其中表示s標記坐標，表示/s標記坐標，表示o標記坐標，表示/o標記坐標；

Step2.2、然后，將文本序列通過BERT的字符編碼索引得到對應的編碼序列，再將其輸入到BERT編碼器中獲得訓練后的字符特征序列；

Step2.3、得到句子的頭、尾實體后在包含類型信息的領域詞匯索引中檢索得到頭尾實體詞的類型；

Step2.4、獲取詞匯類型間的關聯特征，通過構建一個實體類型關系矩陣來表示類型間的關聯特征，不同類型兩兩之間都對應一個關聯特征：

??????????????????????????(1)

其中為詞匯類型數量，表示隱藏層維度，表示第j個頭實體的實體類型，表示第j個尾實體的實體類型，表示二者之間的關聯特征。

2.根據權利要求1所述的基于類型關聯特征增強的領域文本實體關系抽取方法，其特征在于：所述Step1中，構建包含詞匯類別信息的詞典，詞典數據來源于搜集的領域文本及數據集的訓練集信息，以“詞匯，詞匯類別”的格式儲存；在獲得文本中包含的詞匯后，根據詞典匹配對應的類別并獲得Word2vec訓練的詞向量以及類別向量。

3.根據權利要求1所述的基于類型關聯特征增強的領域文本實體關系抽取方法，其特征在于：所述Step3具體包括如下：

Step3.1、將句子中實體所對應的字符特征求和，得到句子中頭、尾實體的特征，根據頭、尾實體的開始與結束坐標，將BERT編碼器輸出的訓練好的字符特征序列中實體所對應的所有字符特征求和，得到句子的頭、尾實體特征；

Step3.2、在得到頭、尾實體特征后將二者拼接得到實體對特征，將實體對特征與類型關聯特征融合拼接；使用一個交互門控機制來獲得融合后的實體對表示，并進行線性變換，得到最終的實體對特征，其中表示數據集的關系數量。

4.根據權利要求1所述的基于類型關聯特征增強的領域文本實體關系抽取方法，其特征在于：所述Step4具體包括如下：

Step4.1、在得到最終的實體對特征后，通過交叉熵損失函數來計算損失，具體計算如下：

?????(2)

其中是實體對的標簽值；

Step4.2、最后，使用argmax函數將融合類型關聯特征的實體對特征解碼，預測實體關系；

????????????????????????(3)

其中表示模型預測的實體對類型標簽。