[發明專利]一種條件文本生成方法及生成系統

有效

• 申請號: 202111474679.4
• 申請日: 2021-12-06
• 公開（公告）號: CN114118024B
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 岳希;羅偉爾;高燕;唐聃;何磊
• 申請（專利權）人: 成都信息工程大學
• 主分類號: G06F40/151
• 分類號: G06F40/151;G06F40/166;G06N3/04;G06N3/08
• 代理公司: 成都云縱知識產權代理事務所(普通合伙) 51316
• 代理人: 伍星;劉沙粒

本發明公開了一種條件文本生成方法，包括采集文本數據；數據預處理；構建編碼器、解碼器；將條件信息和文本數據分別通過編碼器編碼，得到條件特征、文本特征；將條件特征和文本特征進行特征融合，得到融合后的特征，記為融合特征；將所述融合特征作為解碼器的輸入，得到解碼器的輸出結果；計算損失；基于解碼器的輸出結果和損失，對網絡模型進行訓練，直到滿足訓練條件或達到最大訓練次數，輸出訓練后的網絡模型；向訓練后的網絡模型中輸入條件信息和提示文本，生成文本。本發明要解決的技術問題之一是現有條件文本生成技術會在模型訓練的同時生成結果，導致效率低下、細粒度不高的問題，實現更高效、流暢的生成條件文本的目的。

技術領域

本發明涉及自然語言處理領域，具體涉及一種條件文本生成方法及生成系統。

背景技術

自然語言處理是近年來的熱門技術領域，自然語言生成任務一般采用NNLM(Neural Network Language Models，神經網絡語言模型)，常見的有基于ARLM(Auto-regressive Decoding，自回歸解碼)的GPT-2模型。由于模型依靠概率生成，導致生成的隨機性較強，內容無法控制，不符合特定需求。

現有技術中為解決上述問題的技術手段之一，是依托于條件信息，如關鍵詞、情感、風格等，在生成文本時添加一個屬性判別器：首先訓練一個生成器和一個判別器，生成器p(g)生成文本，判別器判決屬性類別p(c|g)，然后得到p(g|c)。回傳梯度，更新語言模型內部狀態，使得實際預測更接近想要屬性，最后獲得的新輸出的概率分布，采樣生成一個新的詞。但是，這種現有技術雖然在一定程度上克服了生成文本隨機性過強的問題，但其工作原理是在模型訓練的同時生成結果，導致效率十分低下，且不能在更細粒度上控制文本生成。

發明內容

本發明提供一種條件文本生成方法及生成系統，解決的技術問題之一是現有條件文本生成技術會在模型訓練的同時生成結果，導致效率低下、細粒度不高的問題，實現更高效、流暢的生成條件文本的目的。

本發明通過下述技術方案實現：

一種條件文本生成方法，包括：

S1、采集文本數據；數據預處理，將文本數據轉化為適合訓練的數據集；

S2、構建編碼器、解碼器；

S3、將條件信息和文本數據分別通過編碼器編碼，得到條件特征、文本特征；將條件特征和文本特征進行特征融合，得到融合后的特征，記為融合特征；

S4、將所述融合特征作為解碼器的輸入，得到解碼器的輸出結果；

S5、計算損失；

S6、基于解碼器的輸出結果和損失，對網絡模型進行訓練，直到滿足訓練條件或達到最大訓練次數，輸出訓練后的網絡模型；

S7、向訓練后的網絡模型中輸入條件信息和提示文本，生成文本。

針對現有的條件文本生成技術會在模型訓練的同時生成結果，導致效率低下和細粒度不高等問題，本發明首先提出一種條件文本生成方法，本方法首先是采集文本數據并進行預處理，進而將文本數據轉化為適合訓練的數據集為后續訓練過程做準備。之后構建編碼器、解碼器，再將條件信息通過編碼器編碼、將編碼器的輸出作為條件特征；同理將預處理后的文本數據通過編碼器編碼，將編碼器的輸出作為文本特征；然后，將條件特征和文本特征進行特征融合；再將融合后的特征作為解碼器的輸入，用以指導文本生成。之后計算損失函數，由解碼器的輸出結果和損失函數對網絡模型進行訓練，以完成訓練后的網絡模型為基礎，向其中輸入所需的條件信息和提示文本，即可完成文本生成。