[發明專利]基于少量訓練樣本的信息抽取方法及裝置

在審

• 申請號: 202010138072.8
• 申請日: 2020-03-03
• 公開（公告）號: CN111506696A
• 公開（公告）日: 2020-08-07
• 發明（設計）人: 譚瑩;黃麟越;許開河;王少軍
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/31
• 分類號: G06F16/31;G06F16/35;G06F40/30
• 代理公司: 北京中強智尚知識產權代理有限公司 11448
• 代理人: 黃耀威

1.一種基于少量訓練樣本的信息抽取方法，其特征在于，包括：

獲取訓練樣本，所述訓練樣本是已標注的待抽取關鍵信息的文本；

根據BERT語言模型，提取所述訓練樣本中每個句子的樣本特征向量；

根據所述訓練樣本、所述待抽取關鍵信息和所述樣本特征向量，訓練初始模型，得到文本預測模型；

根據所述文本預測模型，抽取待抽取文本的抽取信息。

2.如權利要求1所述的方法，其特征在于，所述待抽取關鍵信息的標簽類型包括詞句標簽和段落標簽；所述初始模型包括潛在語義索引LSI初始模型和條件隨機場CRF初始模型；所述文本預測模塊包括LSI預測模型和CRF預測模型；

所述根據所述訓練樣本、所述待抽取關鍵信息和所述樣本特征向量，訓練初始模型，得到文本預測模型，包括：

判斷所述待抽取關鍵信息的標簽類型；

如果所述標注標簽是詞句標簽，則確定所述文本預測模型是所述LSI模型；

如果所述標注標簽是段落標簽，則確定所述文本預測模型是所述CRF模型；

根據所述訓練樣本、所述待抽取關鍵信息和所述樣本特征向量，訓練所述LSI初始模型得到所述LSI預測模型，和/或訓練所述CRF初始模型得到所述CRF預測模型。

3.如權利要求2所述的方法，其特征在于，所述根據所述訓練樣本、所述待抽取關鍵信息和所述樣本特征向量，訓練所述LSI初始模型得到所述LSI預測模型，包括：

采用所述LSI初始模型，計算特征相似度，所述特征相似度是所述訓練樣本中每個句子的所述樣本特征向量與所述待抽取關鍵信息所在句子的所述樣本特征向量之間的相似度；

查找所述特征相似度中相似度最高的所述訓練樣本中的訓練句子；

如果所述訓練句子中包含所述待抽取關鍵信息，則結束訓練所述LSI初始模型得到所述LSI預測模型；

如果所述訓練句子中不包含所述待抽取關鍵信息，則更新LSI參數，重新計算所述特征相似度。

4.如權利要求2所述的方法，其特征在于，所述根據所述訓練樣本、所述待抽取關鍵信息和所述樣本特征向量，訓練所述CRF初始模型得到所述CRF預測模型，包括：

將所述訓練樣本中的各個分句對應的樣本特征向量進行拼接；

以所述拼接結果和所述待抽取關鍵信息對應的樣本特征向量為輸入，訓練所述CRF初始模型得到所述CRF預測模型。

5.如權利要2所述的方法，其特征在于，所述根據所述訓練樣本、所述待抽取關鍵信息和所述樣本特征向量，訓練所述LSI初始模型得到所述LSI預測模型，和/或訓練所述CRF初始模型得到所述CRF預測模型，包括：

如果所述標簽類型包括所述詞句標簽和所述段落標簽，則根據所述訓練樣本、所述待抽取關鍵信息和所述樣本特征向量，并行訓練所述LSI初始模型和CRF初始模型。

6.如權利要求2所述的方法，其特征在于，所述根據所述文本預測模型，抽取待抽取文本的抽取信息，包括：

采用所述LSI預測模型，抽取所述待抽取文本的LSI信息；

采用所述CRF預測模型，抽取所述待抽取文本的CRF信息；

合并所述LSI信息和所述CRF信息，生成所述抽取信息。

7.如權利要求1-6任一項所述的方法，其特征在于，所述根據所述文本預測模型，抽取待抽取文本的抽取信息之后，所述方法還包括：

以表格形式展示所述抽取信息。

8.一種基于少量訓練樣本的信息抽取裝置，其特征在于，包括：

獲取模塊，用于獲取訓練樣本，所述訓練樣本是已標注的待抽取關鍵信息的文本；

提取模塊，用于根據BERT語言模型，提取所述訓練樣本中每個句子的樣本特征量；

訓練模塊，用于根據所述訓練樣本、所述待抽取關鍵信息和所述樣本特征向量，訓練初始模型，得到文本預測模型；

抽取模塊，用于根據所述文本預測模型，抽取待抽取文本的抽取信息。