[發明專利]帶有兩階段解碼器的用于語言理解和生成的預訓練框架

在審

• 申請號: 202110758453.0
• 申請日: 2021-07-05
• 公開（公告）號: CN113449491A
• 公開（公告）日: 2021-09-28
• 發明（設計）人: 俞凱;陳露;馬達;陳志
• 申請（專利權）人: 思必馳科技股份有限公司
• 主分類號: G06F40/126
• 分類號: G06F40/126;G06F40/205;G06F16/35;G06N3/04;G06N3/08
• 代理公司: 北京商專永信知識產權代理事務所(普通合伙) 11400
• 代理人: 黃謙;車江華

本發明實施例提供一種帶有兩階段解碼器的用于語言理解和生成的預訓練框架，包括：編碼器，用于接收條件生成任務中的加噪文本，編碼得到加噪文本序列，其中，加噪文本包括：片段遮蓋和/或句子打亂的文本；解碼器，用于接收編碼器輸出的加噪文本序列，在第一解碼階段，重構加噪文本序列，得到重構文本，生成對應加噪文本序列的意義表示；在第二解碼階段，基于重構文本和意義表示，生成后續文本。本發明實施例還提供一種二階段解碼器。本發明實施例在第一解碼階段進行重構加理解，在第二解碼階段中既保障了文本的理解，又可以生成后續文本，使得預訓練質量更好。顯式的理解可以應用于下游任務，方便獲取上下文信息，適用任務更廣。

技術領域

本發明涉及智能語音領域，尤其涉及一種帶有兩階段解碼器的用于語言理解和生成的預訓練框架。

背景技術

自我監督預訓練提高了自然語言生成(NLG)任務的技術水平，各種語言生成(條件生成)任務的目的是根據給定的文檔(條件)生成自然語言句子，如面向任務的對話中的上下文到響應(Context-to-Response)、會話響應生成等。

為了實現預訓練，有各種類型的用于條件文本生成任務的預訓練模型。大多數這些模型分為兩類。第一類模型，例如MASS(Masked Sequence to Sequence，遮蓋式的序列到序列)和BART(Bidirectional and Auto-Regressive Transformers，雙向自回歸Transformer)，在給定損壞的文本的情況下解碼出遮蓋的部分或回復原始文本。第二種類型的模型，例如PALM(Pre-training AutoencodingAutoregressive Language Model，預訓練自編碼和自回歸語言模型)，根據上下文生成后續文本。前者具有很好的上下文理解能力，而后者則擅長預測未來的文本。

在實現本發明過程中，發明人發現相關技術中至少存在如下問題：

MASS和BART只是重建原文本或者原文本中的遮蓋部分，沒有對后續文本的生成做相關預訓練，導致后續生成能力不足，自然語言生成較差。PALM只是對后續文本的生成做相關預訓練，沒有顯式生成相關理解，由于理解能力不足，后續生成的文本會出現與上下文不通順，或者錯誤的情況。

發明內容

為了至少解決現有技術中沒有對后續文本的生成做相關預訓練，導致后續生成能力不足，沒有顯式生成相關理解，致使后續生成文本能力不足、不通順的問題

第一方面，本發明實施例提供一種二階段解碼器，包括：

在第一解碼階段，重構編碼器的輸出，得到重構文本，生成對應所述輸出的意義表示；

在第二解碼階段，基于所述重構文本和意義表示，生成后續文本。

第二方面，本發明實施例提供一種帶有兩階段解碼器的用于語言理解和生成的預訓練框架，包括：

編碼器，用于接收條件生成任務中的加噪文本，編碼得到加噪文本序列，其中，所述加噪文本包括：片段遮蓋和/或句子打亂的文本；

解碼器，用于接收所述編碼器輸出的加噪文本序列，

在第一解碼階段，重構所述加噪文本序列，得到重構文本，生成對應所述加噪文本序列的意義表示；

在第二解碼階段，基于所述重構文本和意義表示，生成后續文本。

第三方面，提供一種電子設備，其包括：至少一個處理器，以及與所述至少一個處理器通信連接的存儲器，其中，所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行本發明任一實施例的帶有兩階段解碼器的用于語言理解和生成的預訓練框架中二階段解碼器的步驟。