[發明專利]基于語義表示的文本生成方法和裝置

有效

• 申請號: 202010076485.8
• 申請日: 2020-01-23
• 公開（公告）號: CN111310449B
• 公開（公告）日: 2021-01-26
• 發明（設計）人: 張涵;肖東凌;李宇琨;孫宇;田浩;吳華;王海峰
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F40/274
• 分類號: G06F40/274;G06F40/30
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 王艷斌

1.一種基于語義表示的文本生成方法，其特征在于，包括：

獲取輸入文本，其中，所述輸入文本包括源文本；

獲取目標文本之中第i個待預測詞的占位符，其中，i為正整數，所述占位符為一個標識；

獲取所述第i個待預測詞的向量表示，其中，所述第i個待預測詞的向量表示是對應的占位符與所述源文本和第1個至第i-1個預測詞，通過自注意力機制計算得到的，其中，當識別到所述第i個待預測詞的占位符時，通過自注意力機制對所述源文本和第1個至第i-1個預測詞計算得到所述第i個待預測詞的向量表示；以及

根據第i個待預測詞的向量表示，生成所述第i個預測詞，以獲取所述目標文本。

2.如權利要求1所述的基于語義表示的文本生成方法，其特征在于，還包括：

對所述第1個至第i-1個預測詞進行替換。

3.如權利要求2所述的基于語義表示的文本生成方法，其特征在于，所述對所述第1個至第i-1個預測詞進行替換，包括：

根據語義單詞表對所述第1至第i-1個預測詞進行替換。

4.如權利要求3所述的基于語義表示的文本生成方法，其特征在于，所述根據語義單詞表對所述第1至第i-1個預測詞進行替換，包括：

從所述第1個至第i-1個預測詞中，確定待替換詞；

用所述語義單詞表中，與所述待替換詞的前一個預測詞共現概率高于預設概率的詞，替換所述待替換詞。

5.如權利要求1-4任一所述的基于語義表示的文本生成方法，其特征在于，上述方法應用于預訓練和微調。

6.如權利要求1-4任一所述的基于語義表示的文本生成方法，其特征在于，所述目標文本具有對應的標簽，所述方法還包括：

通過模型獲取所述目標文本；以及

根據所述目標文本與所述目標文本對應的標簽，對所述模型進行訓練。

7.一種基于語義表示的文本生成裝置，其特征在于，包括：

第一獲取模塊，用于獲取輸入文本，其中，所述輸入文本包括源文本；

第二獲取模塊，用于獲取目標文本之中第i個待預測詞的占位符，其中，i為正整數，所述占位符為一個標識；

第三獲取模塊，用于獲取所述第i個待預測詞的向量表示，其中，所述第i個待預測詞的向量表示是對應的占位符與所述源文本和第1個至第i-1個預測詞，通過自注意力機制計算得到的，其中，當識別到所述第i個待預測詞的占位符時，通過自注意力機制對所述源文本和第1個至第i-1個預測詞計算得到所述第i個待預測詞的向量表示；以及

生成模塊，用于根據所述第i個待預測詞的向量表示，生成所述第i個預測詞，以獲取所述目標文本。

8.如權利要求7所述的基于語義表示的文本生成裝置，其特征在于，還包括：

替換模塊，用于對所述第1個至第i-1個預測詞進行替換。

9.如權利要求8所述的基于語義表示的文本生成裝置，其特征在于，所述替換模塊，具體用于：

根據語義單詞表對所述第1至第i-1個預測詞進行替換。

10.如權利要求9所述的基于語義表示的文本生成裝置，其特征在于，所述替換模塊，具體用于：

從所述第1個至第i-1個預測詞中，確定待替換詞；

用與所述待替換詞的前一個預測詞共現概率高于預設概率的詞，替換所述待替換詞。

11.如權利要求7-10任一所述的基于語義表示的文本生成裝置，其特征在于，上述裝置應用于預訓練和微調。

12.如權利要求7-10任一所述的基于語義表示的文本生成裝置，所述目標文本具有對應的標簽，所述裝置還包括：

第四獲取模塊，用于通過模型獲取所述目標文本；以及

訓練模塊，用于根據所述目標文本與所述目標文本對應的標簽，對所述模型進行訓練。