[發明專利]帶有兩階段解碼器的用于語言理解和生成的預訓練框架在審
| 申請號： | 202110758453.0 | 申請日： | 2021-07-05 |
| 公開（公告）號： | CN113449491A | 公開（公告）日： | 2021-09-28 |
| 發明（設計）人： | 俞凱;陳露;馬達;陳志 | 申請（專利權）人： | 思必馳科技股份有限公司 |
| 主分類號： | G06F40/126 | 分類號： | G06F40/126;G06F40/205;G06F16/35;G06N3/04;G06N3/08 |
| 代理公司： | 北京商專永信知識產權代理事務所(普通合伙) 11400 | 代理人： | 黃謙;車江華 |
| 地址： | 215123 江蘇省蘇州市蘇*** | 國省代碼： | 江蘇;32 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 帶有 階段 解碼器 用于 語言 理解 生成 訓練 框架 | ||
1.一種二階段解碼器，包括：
在第一解碼階段，重構編碼器的輸出，得到重構文本，生成對應所述輸出的意義表示；
在第二解碼階段，基于所述重構文本和意義表示，生成后續文本。
2.根據權利要求1所述的二階段解碼器，其中，所述意義表示是顯式的，以用于處理下游的摘要或問答類任務。
3.根據權利要求1所述的二階段解碼器，其中，所述重構編碼器的輸出，得到重構文本，生成對應所述輸出的意義表示包括：
在第一解碼階段，接收條件生成任務中編碼器輸出的加噪文本序列，得到重構文本，生成對應所述條件生成任務中編碼器輸出的意義表示，其中，所述加噪包括：片段遮蓋和/或句子打亂。
4.一種帶有兩階段解碼器的用于語言理解和生成的預訓練框架，包括：
編碼器，用于接收條件生成任務中的加噪文本，編碼得到加噪文本序列，其中，所述加噪文本包括：片段遮蓋和/或句子打亂的文本；
解碼器，用于接收所述編碼器輸出的加噪文本序列，
在第一解碼階段，重構所述加噪文本序列，得到重構文本，生成對應所述加噪文本序列的意義表示；
在第二解碼階段，基于所述重構文本和意義表示，生成后續文本。
5.根據權利要求4所述的預訓練框架，其中，所述條件生成任務包括：文本摘要任務；
編碼器，用于接收文本摘要任務的文本，編碼得到文本序列；
解碼器，用于接收所述編碼器輸出的文本序列，
在第一解碼階段，重構所述文本序列，得到重構后可理解的連貫文本序列，并生成所述文本序列的意義表示；
在第二解碼階段，基于所述連貫文本序列和意義表示，生成文本摘要。
6.根據權利要求4所述的預訓練框架，其中，所述條件生成任務包括：問答任務；
編碼器，用于接收問答任務的文本，編碼得到文本序列，其中所述文本序列包括：題目文本序列以及與題目文本相關的問題序列；
解碼器，用于接收所述編碼器輸出的文本序列，
在第一解碼階段，重構所述問題序列，得到重構后可理解的問題序列，并生成所述問題序列的意義表示；
在第二解碼階段，基于所述題目文本序列、重構后可理解的問題序列以及意義表示，生成回復答案。
7.一種電子設備，其包括：至少一個處理器，以及與所述至少一個處理器通信連接的存儲器，其中，所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行權利要求4-6中任一項所述預訓練框架中二階段解碼器的步驟。
8.一種存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現權利要求4-6中任一項所述預訓練框架中二階段解碼器的步驟。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于思必馳科技股份有限公司，未經思必馳科技股份有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202110758453.0/1.html，轉載請聲明來源鉆瓜專利網。
