[發明專利]遙監督關系抽取模型的訓練方法及相關裝置

在審

• 申請號: 202011355553.0
• 申請日: 2020-11-27
• 公開（公告）號: CN112329463A
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 崔宇浩;金忠孝
• 申請（專利權）人: 上海汽車集團股份有限公司;上海汽車工業(集團)總公司
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F40/216;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 北京信遠達知識產權代理有限公司 11304
• 代理人: 王會會

1.一種遙監督關系抽取模型的訓練方法，其特征在于，所述遙監督關系抽取模型包括詞嵌入層、特征提取層和輸出層，所述特征提取層包括循環層和卷積層，所述輸出層包括袋級最大池層和softmax層，所述訓練方法包括：

對于每個實體關系，將與其對應的正樣本打包成至少一個句袋，并將與其對應的負樣本打包成至少一個句袋；

對于每個句袋，對所述句袋中的每個句子加入實體定位符，并進行分詞和向量化，得到句袋索引向量；

將所述句袋索引向量輸入到所述詞嵌入層，得到所述詞嵌入層輸出的句袋詞向量；

將所述句袋詞向量輸入到所述特征提取層，得到所述特征提取層輸出的語義特征；

將所述語義特征輸入到所述輸出層，得到所述輸出層輸出的實體關系的預測概率；

比較所述預測概率與句袋代表的實體關系，并計算損失以及更新模型參數。

2.根據權利要求1所述的遙監督關系抽取模型的訓練方法，其特征在于，所述循環層，具體為：

長短期記憶人工神經網絡。

3.根據權利要求1所述的遙監督關系抽取模型的訓練方法，其特征在于，在所述將正樣本按照實體關系類別打包成代表各實體關系的句袋，并將負樣本依照大小分成若干句袋之前，還包括：

從知識庫中提取實體關系；

對于每個所述實體關系，從樣本中抽取包含所述實體關系的實體對的句子作為所述實體關系的正樣本；

對于每個所述實體關系，從樣本中抽取未包含所述實體關系的實體對的句子作為所述實體關系的負樣本。

4.根據權利要求1所述的遙監督關系抽取模型的訓練方法，其特征在于，還包括：

利用測試集，對遙監督關系抽取模型進行測試的過程。

5.一種遙監督關系抽取模型的訓練裝置，其特征在于，所述遙監督關系抽取模型包括詞嵌入層、特征提取層和輸出層，所述特征提取層包括循環層和卷積層，所述輸出層包括袋級最大池層和softmax層，所述訓練裝置包括：

句袋生成單元，用于對于每個實體關系，將與其對應的正樣本打包成至少一個句袋，并將與其對應的負樣本打包成至少一個句袋；

句袋索引向量單元，用于對于每個句袋，對所述句袋中的每個句子加入實體定位符，并進行分詞和向量化，得到句袋索引向量；

矩陣形成單元，用于將所述句袋索引向量輸入到所述詞嵌入層，得到所述詞嵌入層輸出的句袋詞向量；

語義特征提取單元，用于將所述句袋詞向量輸入到所述特征提取層，得到所述特征提取層輸出的語義特征；

預測單元，用于將所述語義特征輸入到所述輸出層，得到所述輸出層輸出的實體關系的預測概率；

更新單元，用于比較所述預測概率與句袋代表的實體關系，并計算損失以及更新模型參數。

6.根據權利要求5所述的遙監督關系抽取模型的訓練裝置，其特征在于，所述循環層，具體為：

長短期記憶人工神經網絡。

7.根據權利要求5所述的遙監督關系抽取模型的訓練裝置，其特征在于，還包括：

實體關系提取單元，用于從知識庫中提取實體關系；

正樣本單元，用于對于每個所述實體關系，從樣本中抽取包含所述實體關系的實體對的句子作為所述實體關系的正樣本；

負樣本單元，用于對于每個所述實體關系，從樣本中抽取未包含所述實體關系的實體對的句子作為所述實體關系的負樣本。

8.根據權利要求5所述的遙監督關系抽取模型的訓練裝置，其特征在于，還包括：

模型測試單元，用于利用測試集，對遙監督關系抽取模型進行測試。

9.一種可讀存儲介質，其上存儲有程序，其特征在于，所述程序被處理器執行時，實現如權利要求1～4中任一項所述的遙監督關系抽取模型的訓練方法的各個步驟。

10.一種遙監督關系抽取模型的訓練設備，包括存儲器和處理器，其特征在于，所述存儲器，用于存儲程序；

所述處理器，用于執行所述程序，實現如權利要求1～4中任一項所述的遙監督關系抽取模型的訓練方法的各個步驟。