[發(fā)明專利]實(shí)體關(guān)系的抽取方法及裝置、電子設(shè)備、存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202111153354.6
• 申請日: 2021-09-29
• 公開（公告）號: CN113792122A
• 公開（公告）日: 2021-12-14
• 發(fā)明（設(shè)計）人: 丁銳
• 申請（專利權(quán)）人: 中國銀行股份有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/36;G06F40/126;G06N3/04;G06N3/08;G06N7/00
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 秦曉君

1.一種實(shí)體關(guān)系的抽取方法，其特征在于，包括：

獲取目標(biāo)文本；

將所述目標(biāo)文本輸入預(yù)訓(xùn)練語言表征模型Bert中，通過所述預(yù)訓(xùn)練語言表征模型Bert對所述目標(biāo)文本進(jìn)行處理，得到所述目標(biāo)文本對應(yīng)的編碼；

將所述目標(biāo)文本對應(yīng)編碼輸入預(yù)先訓(xùn)練好的目標(biāo)神經(jīng)網(wǎng)絡(luò)模型中，通過所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型抽取出所述目標(biāo)文本中的各類關(guān)系數(shù)據(jù)，并基于所述目標(biāo)文本的關(guān)系數(shù)據(jù)，抽取出所述目標(biāo)文本中的各個實(shí)體數(shù)據(jù)；其中，所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型預(yù)先利用多個文本樣本及其對應(yīng)的關(guān)系標(biāo)注和實(shí)體標(biāo)注進(jìn)行訓(xùn)練得到；所述文本樣本對應(yīng)的關(guān)系標(biāo)注和實(shí)體標(biāo)注，均基于確定出的數(shù)據(jù)結(jié)構(gòu)模式schema進(jìn)行標(biāo)注。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型包括第一神經(jīng)網(wǎng)絡(luò)模型以及第二神經(jīng)網(wǎng)絡(luò)模型，所述將所述目標(biāo)文本對應(yīng)編碼輸入預(yù)先訓(xùn)練好的目標(biāo)神經(jīng)網(wǎng)絡(luò)模型中，通過所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型抽取出所述目標(biāo)文本中的各類關(guān)系數(shù)據(jù)，并基于所述目標(biāo)文本的關(guān)系數(shù)據(jù)，抽取出所述目標(biāo)文本中的各個實(shí)體數(shù)據(jù)，包括：

將所述目標(biāo)文本對應(yīng)編碼輸入所述第一神經(jīng)網(wǎng)絡(luò)模型中，通過所述第一神經(jīng)網(wǎng)絡(luò)模型對所述目標(biāo)文本對應(yīng)的編碼進(jìn)行處理，得到所述目標(biāo)文本中的各類關(guān)系數(shù)據(jù)；其中，所述第一神經(jīng)網(wǎng)絡(luò)模型預(yù)先利用所述文本樣本及其對應(yīng)的關(guān)系標(biāo)注進(jìn)行訓(xùn)練得到；

將所述目標(biāo)文本中的各類關(guān)系數(shù)據(jù)輸入所述第二神經(jīng)網(wǎng)絡(luò)模型中，通過所述第二神經(jīng)網(wǎng)絡(luò)模型對所述目標(biāo)文本中的關(guān)系數(shù)據(jù)進(jìn)行處理，得到所述目標(biāo)文本中的各個實(shí)體數(shù)據(jù)；其中，所述第二神經(jīng)網(wǎng)絡(luò)模型預(yù)先利用所述文本樣本及其對應(yīng)的實(shí)體標(biāo)注進(jìn)行訓(xùn)練得到。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述第一神經(jīng)網(wǎng)絡(luò)模型由雙向長短時記憶模型Bi-LSTM和邏輯回歸模型Softmax組成，所述第二神經(jīng)網(wǎng)絡(luò)模型由預(yù)訓(xùn)練語言表征模型Bert、雙向長短時記憶模型Bi-LSTM、條件隨機(jī)場模型CRF以及邏輯回歸模型Softmax組成。

4.根據(jù)要求2所述的方法，其特征在于，所述第一神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法，包括：

基于先驗知識確定出數(shù)據(jù)結(jié)構(gòu)模式schema；

獲取滿足所述數(shù)據(jù)結(jié)構(gòu)模式schema的多個所述文本樣本；

基于所述數(shù)據(jù)結(jié)構(gòu)模式schema，標(biāo)注各個所述文本樣本對應(yīng)的關(guān)系標(biāo)注；

分別將各個所述文本樣本輸入第一初始模型中，通過所述第一初始模型對所述文本樣本進(jìn)行處理，得到當(dāng)前所述文本樣本對應(yīng)的預(yù)測關(guān)系數(shù)據(jù)；

基于所述文本樣本對應(yīng)的關(guān)系標(biāo)注以及當(dāng)前所述文本樣本對應(yīng)的預(yù)測關(guān)系數(shù)據(jù)的對比結(jié)果，判斷當(dāng)前所述第一初始模型的輸出結(jié)果準(zhǔn)確率是否滿足第一預(yù)設(shè)要求；

若判斷出當(dāng)前所述第一初始模型的輸出結(jié)果準(zhǔn)確率不滿足第一預(yù)設(shè)要求，則對當(dāng)前所述第一初始模型進(jìn)行調(diào)參，并針對調(diào)參后的所述第一初始模型，返回執(zhí)行所述分別將各個所述文本樣本輸入第一初始模型中；

若判斷出當(dāng)前所述第一初始模型的輸出結(jié)果準(zhǔn)確率滿足第一預(yù)設(shè)要求，則將當(dāng)前所述第一初始模型確定為訓(xùn)練好后的第一神經(jīng)網(wǎng)絡(luò)模型。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述第二神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法，包括：

獲取各個所述文本樣本及其對應(yīng)的實(shí)體標(biāo)注；

分別將各個所述文本樣本輸入所述第一神經(jīng)網(wǎng)絡(luò)模型，得到所述文本樣本中的各類關(guān)系數(shù)據(jù)；

分別將各個所述文本樣本中的各類關(guān)系數(shù)據(jù)輸入第二初始模型中，通過所述第二初始模型對所述文本樣本中的各類關(guān)系數(shù)據(jù)進(jìn)行處理，得到當(dāng)前所述文本樣本對應(yīng)的預(yù)測實(shí)體數(shù)據(jù)；

基于所述文本樣本對應(yīng)的關(guān)系標(biāo)注以及當(dāng)前所述文本樣本對應(yīng)的預(yù)測實(shí)體數(shù)據(jù)的對比結(jié)果，判斷當(dāng)前所述第二初始模型的輸出結(jié)果準(zhǔn)確率是否滿足第二預(yù)設(shè)要求；

若判斷出當(dāng)前所述第二初始模型的輸出結(jié)果準(zhǔn)確率不滿足第二預(yù)設(shè)要求，則對當(dāng)前所述第二初始模型進(jìn)行調(diào)參，并針對調(diào)參后的所述第二初始模型，返回執(zhí)行所述分別將各個所述文本樣本中的各類關(guān)系數(shù)據(jù)輸入第二初始模型中；

若判斷出當(dāng)前所述第二初始模型的輸出結(jié)果準(zhǔn)確率滿足第二預(yù)設(shè)要求，則將當(dāng)前所述第二初始模型確定為訓(xùn)練好后的第二神經(jīng)網(wǎng)絡(luò)模型。