[發明專利]基于語義表示的文本生成方法和裝置

有效

• 申請號: 202010076485.8
• 申請日: 2020-01-23
• 公開（公告）號: CN111310449B
• 公開（公告）日: 2021-01-26
• 發明（設計）人: 張涵;肖東凌;李宇琨;孫宇;田浩;吳華;王海峰
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F40/274
• 分類號: G06F40/274;G06F40/30
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 王艷斌

本申請公開了基于語義表示的文本生成方法和裝置，涉及NLP領域。文本生成方法為：獲取輸入文本；獲取目標文本之中第i個待預測詞的占位符；獲取第i個待預測詞的向量表示，其中，第i個待預測詞的向量表示是對應的占位符與源文本和第1個至第i?1個預測詞，通過自注意力機制計算得到的；根據第i個待預測詞的向量表示，生成第i個預測詞，以獲取目標文本。該方法通過引入占位符，融合源文本和當前已預測出的詞，得到與當前待預測詞的向量表示，根據該向量表示預測當前待預測詞，解碼時即使預測出的前一個詞錯誤，對當前待預測詞的向量表示影響較小，在一定程度上緩解了曝光偏差，提高了解碼準確率。上述方法可統一應用于預訓練和微調。

技術領域

本申請涉及計算機技術領域，具體涉及自然語言處理(Natural LanguageProcessing，NLP)技術領域，尤其涉及一種基于語義表示的文本生成方法和裝置。

背景技術

在自然語言處理領域，傳統的生成任務，通常使用預測出的前一個詞，預測下一個詞，比如使用t1預測下一個詞t2，利用預測出的t2預測下一個詞t3。但是，當t1在解碼發生錯誤，再依照錯誤解碼的t1去預測t2，就會導致錯誤進一步傳播，也即曝光偏差，解碼準率低。

發明內容

本申請提出一種基于語義表示的文本生成方法和裝置，用于解決相關技術中，現有的預測方法，存在曝光偏差、解碼準率低的問題。

本申請一方面實施例提出了一種基于語義表示的文本生成方法，包括：

獲取輸入文本，其中，所述輸入文本包括源文本；

獲取目標文本之中第i個待預測詞的占位符，其中，i為正整數；

獲取所述第i個待預測詞的向量表示，其中，所述第i個待預測詞的向量表示是對應的占位符與所述源文本和第1個至第i-1個預測詞，通過自注意力機制計算得到的；以及

根據所述第i個待預測詞的向量表示，生成所述第i個預測詞，以獲取所述目標文本。

本申請實施例的基于語義表示的文本生成方法，通過獲取輸入文本，其中，輸入文本包括源文本；獲取目標文本之中第i個待預測詞的占位符，其中，i為正整數；獲取第i個待預測詞的向量表示，其中，第i個待預測詞的向量表示是對應的占位符與源文本和第1個至第i-1個預測詞，通過自注意力機制計算得到的；以及根據第i個待預測詞的向量表示，生成第i個預測詞，以獲取目標文本。由此，通過引入占位符，融合源文本和當前已預測出的詞，得到與當前待預測詞的對應的向量表示，根據該向量表示預測當前待預測詞，解碼時即使預測出的前一個詞錯誤，對當前待預測詞對應的占位符對應的向量表示影響也比較小，從而在一定程度上緩解了曝光偏差，提高了解碼準確率。

本申請另一方面實施例提出了一種基于語義表示的文本生成裝置，包括：

第一獲取模塊，用于獲取輸入文本，其中，所述輸入文本包括源文本；

第二獲取模塊，用于獲取目標文本之中第i個待預測詞的占位符，其中，i為正整數；

第三獲取模塊，用于獲取所述第i個待預測詞的向量表示，其中，所述第i個待預測詞的向量表示是對應的占位符與源文本和所述第1個至第i-1個預測詞，通過自注意力機制計算得到的；以及

生成模塊，用于根據所述第i個待預測詞的向量表示，生成所述第i個預測詞，以獲取目標文本。