[發(fā)明專利]事件檢測(cè)模型的構(gòu)建方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010548917.0
• 申請(qǐng)日: 2020-06-16
• 公開（公告）號(hào): CN111813931B
• 公開（公告）日: 2021-03-16
• 發(fā)明（設(shè)計(jì)）人: 許斌;仝美涵;李涓子;侯磊
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)
• 主分類號(hào): G06F16/35
• 分類號(hào): G06F16/35;G06F40/30;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 郭亮

1.一種基于開放域知識(shí)增強(qiáng)的事件檢測(cè)深度學(xué)習(xí)模型的構(gòu)建方法，其特征在于，包括：

獲取標(biāo)注數(shù)據(jù)和未標(biāo)注數(shù)據(jù)；其中，所述標(biāo)注數(shù)據(jù)指標(biāo)記有觸發(fā)詞的句子數(shù)據(jù)；所述未標(biāo)注數(shù)據(jù)指未標(biāo)記有觸發(fā)詞的句子數(shù)據(jù)；所述未標(biāo)注數(shù)據(jù)包括第一數(shù)據(jù)子集和第二數(shù)據(jù)子集；

將所述標(biāo)注數(shù)據(jù)輸入到第一事件分類模型中，以對(duì)所述第一事件分類模型進(jìn)行訓(xùn)練；

根據(jù)外部語義庫(kù)采用義原映射算法，對(duì)所述未標(biāo)注數(shù)據(jù)中的第一數(shù)據(jù)子集進(jìn)行語義分析處理，以識(shí)別所述第一數(shù)據(jù)子集中的觸發(fā)詞，得到開放域觸發(fā)詞識(shí)別結(jié)果；

根據(jù)所述開放域觸發(fā)詞識(shí)別結(jié)果和所述第二數(shù)據(jù)子集，采用知識(shí)蒸餾的方式，對(duì)第二事件分類模型進(jìn)行訓(xùn)練；

對(duì)訓(xùn)練后的第一事件分類模型和訓(xùn)練后的第二事件分類模型進(jìn)行聯(lián)合訓(xùn)練，得到基于開放域知識(shí)增強(qiáng)的事件檢測(cè)深度學(xué)習(xí)模型。

2.根據(jù)權(quán)利要求1所述的基于開放域知識(shí)增強(qiáng)的事件檢測(cè)深度學(xué)習(xí)模型的構(gòu)建方法，其特征在于，根據(jù)外部語義庫(kù)采用義原映射算法，對(duì)所述未標(biāo)注數(shù)據(jù)中的第一數(shù)據(jù)子集進(jìn)行語義分析處理，以識(shí)別所述第一數(shù)據(jù)子集中的觸發(fā)詞，得到開放域觸發(fā)詞識(shí)別結(jié)果，包括：

基于外部語義庫(kù)WordNet對(duì)第一數(shù)據(jù)子集進(jìn)行詞語消歧，將第一數(shù)據(jù)子集中的詞對(duì)應(yīng)到WordNet中單一語義的義原集中；

根據(jù)第一數(shù)據(jù)子集中每個(gè)詞所屬的義原集是否觸發(fā)事件識(shí)別所述第一數(shù)據(jù)子集每個(gè)詞是否為觸發(fā)詞，以得到開放域觸發(fā)詞識(shí)別結(jié)果。

3.根據(jù)權(quán)利要求1所述的基于開放域知識(shí)增強(qiáng)的事件檢測(cè)深度學(xué)習(xí)模型的構(gòu)建方法，其特征在于，所述第二事件分類模型包括學(xué)生模型和教師模型；

相應(yīng)地，根據(jù)所述開放域觸發(fā)詞識(shí)別結(jié)果和所述第二數(shù)據(jù)子集，采用知識(shí)蒸餾的方式，對(duì)第二事件分類模型進(jìn)行訓(xùn)練，包括：

以擁有開放域觸發(fā)詞識(shí)別結(jié)果的第一數(shù)據(jù)子集作為教師模型的輸入，以所述第二數(shù)據(jù)子集作為學(xué)生模型的輸入，以教師模型和學(xué)生模型的預(yù)測(cè)結(jié)果相同為訓(xùn)練目標(biāo)，對(duì)所述教師模型和學(xué)生模型進(jìn)行訓(xùn)練。

4.根據(jù)權(quán)利要求3所述的基于開放域知識(shí)增強(qiáng)的事件檢測(cè)深度學(xué)習(xí)模型的構(gòu)建方法，其特征在于，以擁有開放域觸發(fā)詞識(shí)別結(jié)果的第一數(shù)據(jù)子集作為教師模型的輸入，以所述第二數(shù)據(jù)子集作為學(xué)生模型的輸入，以教師模型和學(xué)生模型的預(yù)測(cè)結(jié)果相同為訓(xùn)練目標(biāo)，對(duì)所述教師模型和學(xué)生模型進(jìn)行訓(xùn)練，包括：

設(shè)定訓(xùn)練目標(biāo)：

p(Y|S⁺，θ)＝p(Y|S^-，θ)

其中，p(Y|S⁺，θ)與p(Y|S^-，θ)分別為教師模型和學(xué)生模型的預(yù)測(cè)結(jié)果；其中，教師模型的輸入S⁺是標(biāo)記有開放域觸發(fā)詞知識(shí)的第一數(shù)據(jù)子集，學(xué)生模型的輸入S^-則是未標(biāo)記開放域觸發(fā)詞知識(shí)的第二數(shù)據(jù)子集；其中，θ表示教師模型和學(xué)生模型共享的參數(shù)群，Y表示事件類型預(yù)測(cè)結(jié)果，其中，S⁺的構(gòu)造過程包括：引入兩個(gè)符號(hào)B-TRI和E-TRI，標(biāo)記開放域觸發(fā)詞在句子中開始位置和結(jié)束位置，B-TRI表示開始位置，E-TRI表示結(jié)束位置，給定原始句子S＝＜w₁，w₂，...，w_n＞以及開放域觸發(fā)詞w_i，編碼進(jìn)開放域觸發(fā)詞的句子表示為S⁺＝＜w₁，w₂，...，B-TRI，w_i，E-TRI，...，w_n＞；其中，S^-的構(gòu)造過程包括：通過隨機(jī)屏蔽開放域觸發(fā)詞的事件性詞語，擾亂學(xué)生模型的輸入，給定原始句子S＝＜w₁，w₂，...，w_n＞以及開放域觸發(fā)詞w_i，構(gòu)造S^-＝{w₁，w₂，...，[MASK]，...，w_n}；其中，[MASK]表示隨機(jī)屏蔽了一部分開放域觸發(fā)詞；

通過將句子S⁺以及S^-分別輸入教師模型和學(xué)生模型，獲得教師模型和學(xué)生模型兩者的預(yù)測(cè)結(jié)果p(Y|S⁺，θ)和p(Y|S^-，θ)；

若未標(biāo)注數(shù)據(jù)為則第二事件分類模型的優(yōu)化函數(shù)為：

其中，J_T(θ)表示衡量教師和學(xué)生模型預(yù)測(cè)分布差距的損失函數(shù)，KL表示信息增益散度，||表示分布相比運(yùn)算符，N_U表示未標(biāo)注數(shù)據(jù)的規(guī)模，表示教師模型的預(yù)測(cè)分布，表示學(xué)生模型的預(yù)測(cè)分布。