[發明專利]一種基于轉移矩陣構建關系抽取模型的方法

有效

• 申請號: 201710193366.9
• 申請日: 2017-03-28
• 公開（公告）號: CN106970981B
• 公開（公告）日: 2021-01-19
• 發明（設計）人: 羅炳峰;馮巖松;賈愛霞;趙東巖
• 申請（專利權）人: 北京大學
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F40/279
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 司立彬

1.一種基于轉移矩陣構建關系抽取模型的方法，其步驟為：

1)選擇基礎關系抽取模型M，其輸出為輸入句子i所描述的關系的分布p_i，并在中間結果中生成輸入句子i的向量表示s_i；

2)根據輸入句子i的向量表示s_i，構建一個轉移矩陣T_i；其中，為矩陣T_i的第j行第k列的元素，表示輸入句子i表述的關系是j，但被錯誤地標注為k的概率；

3)將該基礎關系抽取模型M輸出的關系分布p_i乘以該轉移矩陣T_i并歸一化，得到輸入句子可能被標注成的關系的分布o_i；

4)以該關系分布o_i擬合有噪聲的標注為目標，訓練該基礎關系抽取模型M直到達到預設的終止條件，得到關系抽取模型；

其中，訓練該基礎關系抽取模型M的方法為：a)如果訓練數據不能根據噪聲程度進一步劃分，則訓練時使用的損失函數為

其中，N為訓練數據的樣本總數，一個樣本是一個句子也可以是一組句子，表示樣本i用基礎關系抽取器M輸出的關系分布p_i擬合有噪聲的標注的誤差，表示樣本i可能被標注成的關系分布o_i擬合有噪聲的標注的誤差，Trace(T_i)表示樣本i對應的轉移矩陣T_i的跡，α是0到1之間的實數，β是一個實數系數；b)如果訓練數據能根據噪聲程度進一步劃分為若干子集，則訓練時使用的損失函數為其中，S是子集總數，N_i是子集TD_i的樣本數，為子集TD_i的第j個樣本被標注成的關系的分布o_ij擬合有噪聲的標注的誤差，β_i是子集TD_i上轉移矩陣T_ij的跡的正則項系數。

2.如權利要求1所述的方法，其特征在于，如果所述基礎關系抽取模型M對輸入句子i僅生成一個向量表示s_i，則所述其中，w_jk是用來計算轉移矩陣T_i的第j行第k列處的值的參數，為w_jk的轉置，b是偏置項，w_jk和b在訓練過程中通過反向傳播更新，|C|為要抽取的關系的集合的大小。

3.如權利要求1所述的方法，其特征在于，如果所述基礎關系抽取模型M對輸入句子i針對每一個關系l生成一個向量表示s_il，則所述其中，s_ij是輸入句子i針對關系j的向量表示，w_k是關系k的權值向量，是w_k的轉置，b_j是關系j的偏置項，w_k和b_j在訓練過程中通過反向傳播更新，|C|為要抽取的關系的集合的大小。

4.如權利要求1所述的方法，其特征在于，可以再將所述向量表示s_i經過若干全連接層處理后，得到新的句子i的向量表示s′_i，然后根據s′_i構建所述轉移矩陣T_i。