[發(fā)明專利]訓(xùn)練信息抽取模型的方法、信息抽取方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202310438075.7
• 申請(qǐng)日: 2023-04-18
• 公開(kāi)（公告）號(hào): CN116644311A
• 公開(kāi)（公告）日: 2023-08-25
• 發(fā)明（設(shè)計(jì)）人: 高暢;張?chǎng)┸?/a>;邴立東
• 申請(qǐng)（專利權(quán)）人: 阿里巴巴（中國(guó)）有限公司
• 主分類號(hào): G06F18/214
• 分類號(hào): G06F18/214;G06F18/21;G06F18/2415;G06F40/295;G06N3/0455;G06N3/045;G06N3/048;G06N3/084
• 代理公司: 北京眾達(dá)德權(quán)知識(shí)產(chǎn)權(quán)代理有限公司 11570
• 代理人: 袁媛

本申請(qǐng)實(shí)施例公開(kāi)了一種訓(xùn)練信息抽取模型的方法、信息抽取方法及裝置。主要技術(shù)方案包括：獲取目標(biāo)任務(wù)的訓(xùn)練數(shù)據(jù)；確定目標(biāo)任務(wù)的子任務(wù)，利用所述子任務(wù)的訓(xùn)練數(shù)據(jù)訓(xùn)練信息抽取模型，直至滿足預(yù)設(shè)的第一訓(xùn)練結(jié)束條件；確定所述目標(biāo)任務(wù)的組合訓(xùn)練數(shù)據(jù)，利用所述組合訓(xùn)練數(shù)據(jù)，在已經(jīng)訓(xùn)練得到的信息抽取模型的基礎(chǔ)上進(jìn)一步訓(xùn)練，直至滿足預(yù)設(shè)的第二訓(xùn)練結(jié)束條件；利用所述目標(biāo)任務(wù)的訓(xùn)練數(shù)據(jù)在已經(jīng)訓(xùn)練得到的信息抽取模型的基礎(chǔ)上進(jìn)一步訓(xùn)練，得到用以進(jìn)行信息抽取的信息抽取模型。本申請(qǐng)針對(duì)信息抽取模型提供了一種從易到難學(xué)習(xí)框架，能夠顯著提高信息抽取模型的信息抽取準(zhǔn)確性。

技術(shù)領(lǐng)域

本申請(qǐng)涉及人工智能和自然語(yǔ)言處理技術(shù)領(lǐng)域，特別是涉及一種訓(xùn)練信息抽取模型的方法、信息抽取方法及裝置。

背景技術(shù)

信息抽取(IE，Information?Extraction)指的是利用信息抽取模型從文本中抽取出特定類型的目標(biāo)，從而將海量?jī)?nèi)容自動(dòng)分類、提取和重構(gòu)，例如命名實(shí)體識(shí)別、實(shí)體關(guān)系抽取、事件抽取、情感抽取等。

傳統(tǒng)的信息抽取技術(shù)大多針對(duì)特定類型的目標(biāo)訓(xùn)練信息抽取模型，泛化性較差。為了解決這個(gè)問(wèn)題，統(tǒng)一信息抽取技術(shù)被提了出來(lái)，即用一個(gè)統(tǒng)一的模型解決各種信息類型的抽取任務(wù)。現(xiàn)有的統(tǒng)一信息抽取方案均采用一步生成的方式，但這種方式抽取的目標(biāo)準(zhǔn)確性較差，特別是在抽取復(fù)雜類型的目標(biāo)時(shí)效果更差。

發(fā)明內(nèi)容

有鑒于此，本申請(qǐng)?zhí)峁┝艘环N訓(xùn)練信息抽取模型的方法、信息抽取方法及裝置，從而提升信息抽取的準(zhǔn)確性。

本申請(qǐng)?zhí)峁┝巳缦路桨福?/p>

第一方面，提供了一種訓(xùn)練信息抽取模型的方法，所述方法包括：

獲取目標(biāo)任務(wù)的訓(xùn)練數(shù)據(jù)，所述目標(biāo)任務(wù)的訓(xùn)練數(shù)據(jù)包括多個(gè)第一訓(xùn)練樣本，所述第一訓(xùn)練樣本包括第一文本樣本和針對(duì)該第一文本樣本標(biāo)注的所述目標(biāo)任務(wù)指定的第一抽取條件對(duì)應(yīng)的目標(biāo)樣本；

確定目標(biāo)任務(wù)的子任務(wù)，利用所述子任務(wù)的訓(xùn)練數(shù)據(jù)訓(xùn)練信息抽取模型，直至滿足預(yù)設(shè)的第一訓(xùn)練結(jié)束條件；所述子任務(wù)的訓(xùn)練數(shù)據(jù)包括多個(gè)第二訓(xùn)練樣本，所述第二訓(xùn)練樣本包括第二文本樣本和針對(duì)該第二文本樣本標(biāo)注的所述子任務(wù)指定的第二抽取條件對(duì)應(yīng)的目標(biāo)樣本，所述第二抽取條件是所述第一抽取條件中的部分子條件；

確定所述目標(biāo)任務(wù)的組合訓(xùn)練數(shù)據(jù)，所述組合訓(xùn)練數(shù)據(jù)包括多個(gè)第三訓(xùn)練樣本，所述第三訓(xùn)練樣本由多于一個(gè)的第一訓(xùn)練樣本合并得到；利用所述組合訓(xùn)練數(shù)據(jù)，在已經(jīng)訓(xùn)練得到的信息抽取模型的基礎(chǔ)上進(jìn)一步訓(xùn)練，直至滿足預(yù)設(shè)的第二訓(xùn)練結(jié)束條件；

利用所述目標(biāo)任務(wù)的訓(xùn)練數(shù)據(jù)在已經(jīng)訓(xùn)練得到的信息抽取模型的基礎(chǔ)上進(jìn)一步訓(xùn)練，得到用以進(jìn)行信息抽取的信息抽取模型。

根據(jù)本申請(qǐng)實(shí)施例中一可實(shí)現(xiàn)的方式，所述第二訓(xùn)練樣本中的第二文本樣本為從所述目標(biāo)任務(wù)的訓(xùn)練數(shù)據(jù)中選取的第一訓(xùn)練樣本中的第一文本樣本；所述第二訓(xùn)練樣本中的目標(biāo)樣本是所述選取的第一訓(xùn)練樣本的目標(biāo)樣本中所述第二抽取條件對(duì)應(yīng)的部分；

所述第三訓(xùn)練樣本包括第三文本樣本和針對(duì)第三文本樣本標(biāo)注的所述目標(biāo)任務(wù)指定的第一抽取條件對(duì)應(yīng)的目標(biāo)樣本，所述第三文本樣本是由選取的多個(gè)第一訓(xùn)練樣本中的第一文本樣本合并得到的，所述第三文本樣本中的目標(biāo)樣本是由所述選取的多個(gè)第一訓(xùn)練樣本中的目標(biāo)樣本合并得到的。

根據(jù)本申請(qǐng)實(shí)施例中一可實(shí)現(xiàn)的方式，在利用所述子任務(wù)的訓(xùn)練數(shù)據(jù)訓(xùn)練信息抽取模型時(shí)，將第二訓(xùn)練樣本中的第二文本樣本作為信息抽取模型的輸入文本，訓(xùn)練目標(biāo)為：最小化信息抽取模型從輸入文本抽取的所述第二抽取條件對(duì)應(yīng)的目標(biāo)信息與該第二訓(xùn)練樣本中的目標(biāo)樣本之間的差異；

在利用所述組合訓(xùn)練數(shù)據(jù)訓(xùn)練信息抽取模型時(shí)，將第三訓(xùn)練樣本中的文本樣本作為信息抽取模型的輸入文本，訓(xùn)練目標(biāo)為：最小化信息抽取模型從輸入文本抽取的所述第一抽取條件對(duì)應(yīng)的目標(biāo)信息與該第三訓(xùn)練樣本中的目標(biāo)樣本之間的差異；