[發(fā)明專利]信息提取模型的建立方法及裝置、存儲介質(zhì)及電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202010140219.7
• 申請日: 2020-03-03
• 公開（公告）號: CN113343645A
• 公開（公告）日: 2021-09-03
• 發(fā)明（設(shè)計）人: 劉婷婷;黃明星;賴晨東;李銀鋒;周彬
• 申請（專利權(quán)）人: 北京沃東天駿信息技術(shù)有限公司;北京京東世紀貿(mào)易有限公司
• 主分類號: G06F40/151
• 分類號: G06F40/151;G06N20/00
• 代理公司: 北京律智知識產(chǎn)權(quán)代理有限公司 11438
• 代理人: 王輝;闞梓瑄

1.一種信息提取模型的建立方法，其特征在于，包括：

采集訓練數(shù)據(jù)集，其中，所述訓練數(shù)據(jù)集包含多組文本，每個所述文本對應(yīng)一個或多個目標信息；

獲取預(yù)訓練模型，通過所述預(yù)訓練模型獲取各所述文本中所述目標信息的預(yù)測位置信息；

獲取所述目標信息在所述文本中的真實位置信息，并基于所述真實位置信息及所述預(yù)測位置信息對所述預(yù)訓練模型進行微調(diào)訓練，得到所述信息提取模型。

2.根據(jù)權(quán)利要求1所述的信息提取模型的建立方法，其特征在于，所述預(yù)訓練模型為BERT模型；

所述基于所述真實位置信息及所述預(yù)測位置信息對所述預(yù)訓練模型進行微調(diào)訓練，包括：

將多組所述訓練數(shù)據(jù)集按照預(yù)設(shè)比例分為訓練樣本集合及測試樣本集合；

計算所述訓練樣本集合中所述目標信息的所述真實位置信息及所述預(yù)測位置信息的交叉熵損失；

基于所述交叉熵損失對所述BERT模型進行微調(diào)訓練得到所述信息提取模型；

基于所述測試樣本集合獲取所述信息提取模型的性能參數(shù)，并在所述性能參數(shù)不滿足預(yù)設(shè)條件時，對所述信息提取模型進行調(diào)整。

3.根據(jù)權(quán)利要求2所述的信息提取模型的建立方法，其特征在于，所述位置信息包括起始位置和終止位置；

所述計算所述訓練樣本集合中所述目標信息的所述真實位置信息及所述預(yù)測位置信息的交叉熵損失，包括：

判斷所述文本中各位置為所述目標信息的起始位置和終止位置的概率，并選取概率最大的對應(yīng)所述位置為所述預(yù)測起始位置和所述預(yù)測終止位置；

分別計算所述預(yù)測起始位置和所述目標信息的真實起始位置、所述預(yù)測終止位置與所述目標信息的真實終止位置對應(yīng)的所述交叉熵損失。

4.根據(jù)權(quán)利要求3所述的信息提取模型的建立方法，其特征在于，所述基于所述交叉熵損失對所述BERT模型進行微調(diào)訓練得到所述信息提取模型，包括：

基于所述交叉熵損失對所述BERT模型進行微調(diào)訓練，使得計算得到的所述交叉熵損失之和最小化，得到所述信息提取模型。

5.根據(jù)權(quán)利要求2所述的信息提取模型的建立方法，其特征在于，所述對所述信息提取模型進行調(diào)整，包括；

對所述信息提取模型的超參數(shù)進行調(diào)整，直至所述性能參數(shù)滿足所述預(yù)設(shè)條件。

6.根據(jù)權(quán)利要求1所述的信息提取模型的建立方法，其特征在于，在所述采集訓練數(shù)據(jù)之后，所述方法還包括：

去除所述訓練數(shù)據(jù)中的特殊字符；

當所述訓練數(shù)據(jù)中有所述文本的長度大于所述預(yù)訓練模型的最大文本長度時，對所述文本進行切分；

對經(jīng)文本切分得到的訓練數(shù)據(jù)進行數(shù)據(jù)格式轉(zhuǎn)化。

7.根據(jù)權(quán)利要求6所述的信息提取模型的建立方法，其特征在于，所述對所述文本進行切分，包括：

將所述文本切分為長度相同且存在交疊的多個短文本，并將得到的所述短文本作為新的訓練數(shù)據(jù)。

8.根據(jù)權(quán)利要求6所述的信息提取模型的建立方法，其特征在于，所述對經(jīng)文本切分得到的訓練數(shù)據(jù)進行數(shù)據(jù)格式轉(zhuǎn)化，包括：

將所述訓練數(shù)據(jù)轉(zhuǎn)化為json數(shù)據(jù)格式。

9.一種信息提取方法，其特征在于，用于通過權(quán)利要求1至8任一項所述的方法建立的所述信息提取模型提取所述目標信息，包括：

獲取含有所要提取的目標信息的文本，并對所述文本進行預(yù)處理得到輸入數(shù)據(jù)；

通過權(quán)利要求1至8任一項所述的方法建立的所述信息提取模型對所述輸入數(shù)據(jù)進行處理，提取出所述目標信息，其中，每個所述輸入數(shù)據(jù)對應(yīng)一個或多個所述目標信息。

10.根據(jù)權(quán)利要求9所述的信息提取方法，其特征在于，所述對所述文本進行預(yù)處理得到輸入數(shù)據(jù)，包括：

去除所述文本中的特殊字符；

當所述文本的長度大于所述信息提取模型的最大文本長度時，對所述文本進行切分；

對切分得到的文本進行數(shù)據(jù)格式轉(zhuǎn)化。