[發明專利]一種文本生成的方法及裝置

在審

• 申請號: 202010038172.3
• 申請日: 2020-01-14
• 公開（公告）號: CN111241789A
• 公開（公告）日: 2020-06-05
• 發明（設計）人: 陳瑞清;許開河;王少軍
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F40/151
• 分類號: G06F40/151;G06N3/04;G06N3/08;G06F16/332
• 代理公司: 北京中強智尚知識產權代理有限公司 11448
• 代理人: 黃耀威

1.一種文本生成的方法，其特征在于，包括：

獲取初始文本數據；

根據預置BERT語言模型，計算所述初始文本數據的變分自編碼器的隱藏空間參數；

以所述初始文本數據、所述隱藏空間參數和初始控制條件為輸入數據，以在所述初始控制條件下與所述初始文本數據相對應的控制語句為輸出數據，采用時序性倒傳遞算法，修正訓練長短期記憶網絡LSTM解碼器的權重，以訓練所述LSTM解碼器；

以待測語句和目標控制條件為所述LSTM解碼器的輸入數據，生成所述待測語句的目標語句。

2.如權利要求1所述的方法，其特征在于，所述根據預置BERT語言模型，計算所述初始文本數據的變分自編碼器的隱藏空間參數，包括：

根據預置BERT語言模型，將所述初始文本數據通過所述變分自編碼器映射到隱藏空間，獲取所述隱藏空間的隱藏空間參數；

在所述隱藏空間進行高斯重采樣，重構所述隱藏空間參數。

3.如權利要求2所述的方法，其特征在于，所述根據預置BERT語言模型，將所述初始文本數據通過所述變分自編碼器映射到隱藏空間，獲取所述隱藏空間的隱藏空間參數，包括：

以所述初始文本數據為所述預置BERT語言模型的輸入，獲取所述初始文本數據中各個句子的句向量，所述句向量包括字向量和位置向量；

以所述句向量為變分自編碼器的學習參數，將所述初始文本數據映射到隱藏空間，所述隱藏空間是正態分布空間；

查找所述隱藏空間的隱藏空間參數，所述隱藏空間參數包括所述初始文本數據的參數均值和標準差。

4.如權利要求2所述的方法，其特征在于，所述以所述初始文本數據、所述隱藏空間參數和初始控制條件為輸入數據，以在所述初始控制條件下與所述初始文本數據相對應的控制語句為輸出數據，采用時序性倒傳遞算法，修正訓練長短期記憶網絡LSTM解碼器的權重，以訓練所述LSTM解碼器，包括：

獲取所述隱藏空間的空間維度；

按照所述空間維度，拼接所述隱藏空間參數和所述初始控制條件，生成所述LSTM解碼器的隱藏初始輸入；

以所述隱藏初始輸入和所述初始文本數據為輸入數據，以在所述初始控制條件下與所述初始文本數據相對應的控制語句為輸出數據，采用時序性倒傳遞算法，修正訓練長短期記憶網絡LSTM解碼器的權重，以訓練所述LSTM解碼器。

5.如權利要求4所述的方法，其特征在于，所述按照所述空間維度，拼接所述隱藏空間參數和所述初始控制條件，生成所述LSTM解碼器的隱藏初始輸入，包括：

將所述隱藏空間參數，映射到隱藏張量；

將所述初始控制條件轉換為意圖張量，所述意圖張量的意圖維度與所述隱藏張量的維度相同；

拼接所述隱藏張量和所述意圖張量，生成所述LSTM解碼器的隱藏初始輸入。

6.如權利要求1所述的方法，其特征在于，以待測語句和目標控制條件為所述LSTM解碼器的輸入數據，生成所述待測語句的目標語句，包括：

以待測語句和目標控制條件為所述LSTM解碼器的輸入數據，生成所述待測語句的相似語句，所述目標控制條件為所述待測語句的控制條件。

7.如權利要求1-6任一項所述的方法，其特征在于，所述變分自編碼器和所述LSTM解碼器采用相同的字向量表。

8.一種文本生成的裝置，其特征在于，包括：

獲取模塊，用于獲取初始文本數據；

計算模塊，用于根據預置BERT語言模型，計算所述初始文本數據的變分自編碼器的隱藏空間參數；

訓練模塊，用于以所述初始文本數據、所述隱藏空間參數和初始控制條件為輸入數據，以在所述初始控制條件下與所述初始文本數據相對應的控制語句為輸出數據，采用時序性倒傳遞算法，修正訓練長短期記憶網絡LSTM解碼器的權重，以訓練所述LSTM解碼器；

生成模塊，用于以待測語句和目標控制條件為所述LSTM解碼器的輸入數據，生成所述待測語句的目標語句。