[發明專利]一種實體抽取的方法、裝置、設備和計算機可讀存儲介質

有效

• 申請號: 201910252535.0
• 申請日: 2019-03-29
• 公開（公告）號: CN110008472B
• 公開（公告）日: 2022-11-11
• 發明（設計）人: 譚又偉;王道廣;于政
• 申請（專利權）人: 北京明略軟件系統有限公司
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06F40/284
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 張京波;曲鵬

1.一種實體抽取的方法，其特征在于，包括：

訓練深度學習和條件隨機場CRF的組合模型；

根據訓練使用的文本數據得到訓練集；

將所述訓練集中每個句子按字分詞，從所述組合模型中的嵌入層獲取每個字的字向量，拼接得到所述訓練集中每個句子的嵌入表示；

將所述訓練集中每個句子的嵌入表示輸入至所述組合模型中的深度學習實體抽取模型中；

將所述深度學習實體抽取模型的輸出輸入至所述組合模型中的CRF模型中進行訓練；

將待抽取的文本數據中每個句子分詞，輸入至所述組合模型中的嵌入層，得到待抽取的文本數據中每個句子的嵌入表示；

將所述待抽取的文本數據中每個句子的嵌入表示輸入至所述組合模型中的深度學習實體抽取模型，得到所述深度學習實體抽取模型的預測結果；

將所述深度學習實體抽取模型的預測結果輸入至所述組合模型中的CRF模型進行修正，得到組合模型預測結果；對所述組合模型預測結果進行糾正和/或補充，輸出實體。

2.根據權利要求1所述的方法，其特征在于，所述根據訓練使用的文本數據得到訓練集，包括：

對訓練使用的文本數據進行標注，得到標注數據；

將所述標注數據按照預設的標注體系進行轉換，得到訓練集。

3.根據權利要求1所述的方法，其特征在于，所述方法還包括：

通過語料庫訓練多維的word2vec模型，得到每個字的向量表示，所述每個字的向量表示用于初始化所述嵌入層的參數。

4.根據權利要求1所述的方法，其特征在于，所述對所述組合模型預測結果進行糾正和/或補充，包括：

采用詞典和規則中的至少之一對所述組合模型預測結果進行糾正和/或補充。

5.根據權利要求4所述的方法，其特征在于，所述采用詞典對所述組合模型預測結果進行糾正和/或補充，包括：

對詞典中的所有詞按照長度從長到短依次與待抽取的文本數據進行匹配，匹配成功時，標注為對應的實體類別，且不再對已標注的實體進行匹配和標注；

將所述組合模型預測結果與詞典標注的結果合并。

6.根據權利要求5所述的方法，其特征在于，所述方法還包括：

在詞典標注的結果與所述組合模型預測結果發生沖突時，選取長度長的實體作為合并后的結果。

7.根據權利要求4所述的方法，其特征在于，采用規則對所述組合模型預測結果進行糾正和/或補充，包括：

采用文本判斷模式和條件判斷模式中的至少之一對所述組合模型預測結果進行糾正和/或補充。

8.一種實體抽取的裝置，其特征在于，包括：

訓練模塊，用于訓練深度學習和CRF的組合模型；

根據訓練使用的文本數據得到訓練集；

將所述訓練集中每個句子按字分詞，從所述組合模型中的嵌入層獲取每個字的字向量，拼接得到所述訓練集中每個句子的嵌入表示；

將所述訓練集中每個句子的嵌入表示輸入至所述組合模型中的深度學習實體抽取模型中；

將所述深度學習實體抽取模型的輸出輸入至所述組合模型中的CRF模型中進行訓練；

預測模塊，用于將待抽取的文本數據中每個句子分詞，輸入至所述組合模型中的嵌入層，得到待抽取的文本數據中每個句子的嵌入表示；

將所述待抽取的文本數據中每個句子的嵌入表示輸入至所述組合模型中的深度學習實體抽取模型，得到所述深度學習實體抽取模型的預測結果；

將所述深度學習實體抽取模型的預測結果輸入至所述組合模型中的CRF模型進行修正，得到組合模型預測結果；

輸出模塊，用于對所述組合模型預測結果進行糾正和/或補充，輸出實體。

9.一種實體抽取的設備，包括：存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1～7中任意一項所述實體抽取的方法。

10.一種計算機可讀存儲介質，存儲有計算機可執行指令，所述計算機可執行指令用于執行權利要求1～7中任意一項所述實體抽取的方法。