[發(fā)明專利]信息抽取方法、裝置、電子設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010071824.3
• 申請日: 2020-01-21
• 公開（公告）號: CN111291185B
• 公開（公告）日: 2023-09-22
• 發(fā)明（設(shè)計）人: 王炳乾
• 申請（專利權(quán)）人: 京東方科技集團(tuán)股份有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/36;G06N3/0464;G06N3/08
• 代理公司: 北京潤澤恒知識產(chǎn)權(quán)代理有限公司 11319
• 代理人: 李娜

1.一種信息抽取方法，其特征在于，所述方法包括：

獲取源數(shù)據(jù)；

將所述源數(shù)據(jù)輸入預(yù)先訓(xùn)練得到的信息抽取模型，得到所述源數(shù)據(jù)所包含的三元組信息，所述三元組信息包括所述源數(shù)據(jù)中的主語、謂語和賓語；其中，所述信息抽取模型包括二分類子模型和多標(biāo)簽分類子模型，所述二分類子模型用于抽取所述源數(shù)據(jù)中的主語，所述多標(biāo)簽分類子模型用于根據(jù)所述主語和所述源數(shù)據(jù)，抽取所述源數(shù)據(jù)中與所述主語對應(yīng)的謂語和賓語；所述源數(shù)據(jù)包括非結(jié)構(gòu)化文本，所述二分類子模型和所述多標(biāo)簽分類子模型是采用樣本集合對預(yù)訓(xùn)練語言模型和神經(jīng)網(wǎng)絡(luò)模型進(jìn)行聯(lián)合訓(xùn)練得到，所述樣本集合包括多個待訓(xùn)練文本以及各所述待訓(xùn)練文本的三元組標(biāo)注信息，所述三元組標(biāo)注信息包括主語標(biāo)注信息、謂語標(biāo)注信息和賓語標(biāo)注信息；

在所述將所述源數(shù)據(jù)輸入預(yù)先訓(xùn)練得到的信息抽取模型，得到所述源數(shù)據(jù)所包含的三元組信息的步驟之前，還包括：獲得所述信息抽取模型，其中，所述獲得所述信息抽取模型的步驟，包括：

獲得所述樣本集合；

將所述待訓(xùn)練文本輸入第一預(yù)訓(xùn)練語言模型，將所述第一預(yù)訓(xùn)練語言模型的輸出信息送入第一神經(jīng)網(wǎng)絡(luò)模型；

將所述第一神經(jīng)網(wǎng)絡(luò)模型的輸出信息以及所述待訓(xùn)練文本輸入第二預(yù)訓(xùn)練語言模型，將所述第二預(yù)訓(xùn)練語言模型的輸出信息送入第二神經(jīng)網(wǎng)絡(luò)模型；

根據(jù)所述第一神經(jīng)網(wǎng)絡(luò)模型的輸出信息、所述第二神經(jīng)網(wǎng)絡(luò)模型的輸出信息以及所述三元組標(biāo)注信息，對所述第一預(yù)訓(xùn)練語言模型、所述第一神經(jīng)網(wǎng)絡(luò)模型、所述第二預(yù)訓(xùn)練語言模型以及所述第二神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到所述信息抽取模型，其中，訓(xùn)練后的第一預(yù)訓(xùn)練語言模型和第一神經(jīng)網(wǎng)絡(luò)模型構(gòu)成所述二分類子模型，訓(xùn)練后的第二預(yù)訓(xùn)練語言模型和第二神經(jīng)網(wǎng)絡(luò)模型構(gòu)成所述多標(biāo)簽分類子模型。

2.根據(jù)權(quán)利要求1所述的信息抽取方法，其特征在于，所述根據(jù)所述第一神經(jīng)網(wǎng)絡(luò)模型的輸出信息、所述第二神經(jīng)網(wǎng)絡(luò)模型的輸出信息以及所述三元組標(biāo)注信息，對所述第一預(yù)訓(xùn)練語言模型、所述第一神經(jīng)網(wǎng)絡(luò)模型、所述第二預(yù)訓(xùn)練語言模型以及所述第二神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到所述信息抽取模型的步驟，包括：

根據(jù)所述第一神經(jīng)網(wǎng)絡(luò)模型的輸出信息以及所述主語標(biāo)注信息，確定第一損失函數(shù)；

根據(jù)所述第二神經(jīng)網(wǎng)絡(luò)模型的輸出信息、所述謂語標(biāo)注信息以及所述賓語標(biāo)注信息，確定第二損失函數(shù)；

對所述第一預(yù)訓(xùn)練語言模型、所述第一神經(jīng)網(wǎng)絡(luò)模型、所述第二預(yù)訓(xùn)練語言模型以及所述第二神經(jīng)網(wǎng)絡(luò)模型中的參數(shù)進(jìn)行優(yōu)化，得到所述信息抽取模型，使得所述第一損失函數(shù)與所述第二損失函數(shù)之和最小。

3.根據(jù)權(quán)利要求2所述的信息抽取方法，其特征在于，所述第一損失函數(shù)和所述第二損失函數(shù)均為交叉熵?fù)p失函數(shù)。

4.根據(jù)權(quán)利要求1所述的信息抽取方法，其特征在于，所述獲得樣本集合的步驟，包括：

獲取非結(jié)構(gòu)化文本樣本；

對所述非結(jié)構(gòu)化文本樣本進(jìn)行處理，得到待標(biāo)注文本；

獲取已完成標(biāo)注的待訓(xùn)練文本以及所述待訓(xùn)練文本的三元組標(biāo)注信息；

響應(yīng)于所述待標(biāo)注文本中包含所述三元組標(biāo)注信息中的主語標(biāo)注信息和賓語標(biāo)注信息，按照所述三元組標(biāo)注信息對所述待標(biāo)注文本進(jìn)行標(biāo)注。

5.根據(jù)權(quán)利要求4所述的信息抽取方法，其特征在于，所述獲得樣本集合的步驟，還包括：

采用預(yù)先訓(xùn)練得到的K個預(yù)測模型對所述待標(biāo)注文本進(jìn)行預(yù)測，得到K個三元組預(yù)測信息；

當(dāng)?shù)谝蝗M信息的數(shù)量與K的比值大于第一預(yù)設(shè)閾值時，將所述第一三元組信息作為所述待標(biāo)注文本的三元組標(biāo)注信息添加至所述樣本集合中，其中，所述第一三元組信息為出現(xiàn)在所述三元組預(yù)測信息中但未出現(xiàn)在所述待標(biāo)注文本的三元組標(biāo)注信息中的三元組信息；

當(dāng)?shù)诙M信息的數(shù)量與K的比值大于第二預(yù)設(shè)閾值時，將所述第二三元組信息從所述待標(biāo)注文本的三元組標(biāo)注信息中刪除，其中，所述第二三元組信息為出現(xiàn)在所述待標(biāo)注文本的三元組標(biāo)注信息中但未出現(xiàn)在所述三元組預(yù)測信息中的三元組信息；

其中，K大于或等于5且小于或等于10。