[發(fā)明專利]具有依賴關系的自然語言多任務建模、預測方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202011129406.1
• 申請日: 2020-10-21
• 公開（公告）號: CN112488290B
• 公開（公告）日: 2021-09-07
• 發(fā)明（設計）人: 姜華;陳文清;田濟東
• 申請（專利權(quán)）人: 上海旻浦科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 上海恒慧知識產(chǎn)權(quán)代理事務所(特殊普通合伙) 31317
• 代理人: 張寧展

本發(fā)明提供了一種具有依賴關系的自然語言多任務建模、預測方法及系統(tǒng)，層級編碼器對輸入的詞嵌入針對不同層次的任務進行不同層次的編碼表示；標簽嵌入層將不同任務的標簽嵌入到同一個拉式空間；標簽遷移器將嵌入后的標簽進行轉(zhuǎn)移；預測器根據(jù)每個任務的編碼結(jié)果和遷移結(jié)果，對每個任務的概率分布進行預測；Gumbel采樣層針對每個任務預測的概率分布進行Gumbel采樣，并以設定概率進行反事實取值，從而進行反事實推斷，若任務間存在因果關聯(lián)，則得到其因果效應，對多任務模型進行聯(lián)合優(yōu)化。本發(fā)明根據(jù)因果關聯(lián)，低層任務可以從高層任務中獲得回報，從而使得優(yōu)化后的模型對于低層任務的預測結(jié)果更加精準，進行提升高層任務的預測精度。

技術領域

本發(fā)明涉及自然語言處理技術領域中的一種多任務學習技術，具體地，涉及一種具有依賴關系的自然語言多任務建模、預測方法及系統(tǒng)。

背景技術

隨在機器學習領域，多任務學習是一種重要的學習方法，因為它允許利用上相關任務的知識來提升機器學習的效果。近年來，有一些研究針對具有依賴關系的任務提出了層級多任務模型，由于能利用上任務間的潛在依賴關系，其效果一般會比扁平的多任務框架更好。但是，這些層級多任務模型僅僅考慮了神經(jīng)網(wǎng)絡的編碼器的層疊，而忽略預測結(jié)果之間的強邏輯關聯(lián)，從而導致了多種任務之間的預測結(jié)果不一致的情況，限制了機器學習模型在實際場景中的應用，例如在基于裁判文書的司法判決預測的應用中，會造成預測的相關法條和罪名不一致的情況。

發(fā)明內(nèi)容

針對現(xiàn)有技術中存在的上述不足，本發(fā)明的目的是提供一種具有依賴關系的自然語言多任務建模、預測方法及系統(tǒng)。

本發(fā)明是通過以下技術方案實現(xiàn)的。

根據(jù)本發(fā)明的一個方面，提供了一種具有依賴關系的自然語言多任務結(jié)果預測方法，包括：

S1：對一個長度為n的輸入文本X進行詞嵌入，轉(zhuǎn)換成一個詞嵌入序列E＝{e_i}_1≤i≤n。

S2：對于任一任務k，將前k-1個任務的標簽進行嵌入和遷移：

定義每個任務的標簽為標簽嵌入為則該標簽嵌入由一個全連接神經(jīng)網(wǎng)絡處理得到：

其中，W^k是每個任務的全連接神經(jīng)網(wǎng)絡的參數(shù)矩陣；

將每個任務的標簽嵌入經(jīng)過一個標簽遷移器得到的遷移結(jié)果為計算過程為：

S3：對詞嵌入序列、遷移后的標簽嵌入以及任務k-1的編碼進行處理，得到任務k的編碼為：

H^k＝Encoder^(k)(E,TH^k-1,H^k-1)

其中，Encoder^(k)為任務k的編碼器；

S4：對任務k的編碼進行預測，得到任務k的輸出為：

其中，Predictor^(k)為任務k的預測器，由單層或多層全連接神經(jīng)網(wǎng)絡組成，然后再用softmax函數(shù)對進行轉(zhuǎn)換，生成任務k的預測結(jié)果的概率分布：

其中，概率分布中的對應最大概率的類別則為任務k的預測結(jié)果；

S5：使用Gumbel采樣對S4中得到的任務k的預測結(jié)果進行反事實取值，得到：