[發明專利]文本生成模型的優化方法及系統

有效

• 申請號: 201911199485.0
• 申請日: 2019-11-29
• 公開（公告）號: CN110909179B
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 朱欽佩;吳仁守
• 申請（專利權）人: 思必馳科技股份有限公司
• 主分類號: G06F16/36
• 分類號: G06F16/36
• 代理公司: 北京商專永信知識產權代理事務所(普通合伙) 11400
• 代理人: 黃謙;車江華

本發明實施例提供一種文本生成模型的優化方法。該方法包括：基于文本生成模型的本文生成領域，獲取與本文生成領域相關聯的訓練數據集，根據訓練數據集訓練本文生成領域的語言模型；將對話文本分別輸入至文本生成模型和語言模型；確定文本生成模型解碼端輸出S_t為第一輸出，語言模型的輸出L_t為第二輸出；基于第一輸出和第二輸出的加權和確定第三輸出；基于輸出S_t、輸出L_t和激活函數，確定融合輸出比例O_t；通過第三輸出和融合輸出比例O_t相結合，得到文本生成模型的優化輸出文本。本發明實施例還提供一種文本生成模型的優化系統。本發明實施例構造文本生成模型和語言模型融合的方式，將語言模型與文本生成模型相融合，提高文本生成模型的生成效果。

技術領域

本發明涉及自然語言處理領域，尤其涉及一種文本生成模型的優化方法及系統。

背景技術

自然語言生成是自然語言處理的重要內容，廣泛應用于自動翻譯、摘要提取、新聞撰寫、閱讀理解、智能聊天機器人等等領域。比如在中英文本翻譯中，給模型輸入“這個多少錢”，模型輸出“how much is it”。技術上，業界普遍使用的算法框架是一種“編碼-解碼”(encode-decode)框架，知名的算法有“seq2seq-attention”、“tansformer”等。這些性能強大的算法能夠有效的學習到輸入文本的特征，并巧妙的利用這些特征組織輸出文本。

在實現本發明過程中，發明人發現相關技術中至少存在如下問題：

在實際實施過程中，這些算法總是會受限于訓練數據的規模，生成的文本往往有重復、不通順等情況。而生成模型，作為有監督的模型，恰好又無法利用超大規模數據進行訓練，只“熟悉”部分文字之間的連接性。使得通過這些算法訓練的生成模型的生成文本會出現語句不通順或重復的情況。

發明內容

為了至少解決現有技術中生成模型無法利用大量數據進行訓練，使得生成模型的生成文本會出現語句不通順或重復情況的問題。

第一方面，本發明實施例提供一種文本生成模型的優化方法，包括：

基于文本生成模型的本文生成領域，獲取與所述本文生成領域相關聯的訓練數據集，根據所述訓練數據集訓練所述本文生成領域的語言模型；

將對話文本分別輸入至所述文本生成模型以及所述語言模型；

確定在t時刻，所述文本生成模型解碼端的輸出S_t為第一輸出，以及所述語言模型的輸出L_t為第二輸出；

基于所述第一輸出和所述第二輸出的加權和確定第三輸出；

基于所述輸出S_t、輸出L_t以及激活函數，建立輸出門模型，確定融合輸出比例O_t；

通過所述第三輸出以及融合輸出比例O_t相結合，得到所述文本生成模型的優化輸出文本。

第二方面，本發明實施例提供一種文本生成模型的優化系統，包括：

語言模型生成程序模塊，用于基于文本生成模型的本文生成領域，獲取與所述本文生成領域相關聯的訓練數據集，根據所述訓練數據集訓練所述本文生成領域的語言模型；

數據輸入程序模塊，用于將對話文本分別輸入至所述文本生成模型以及所述語言模型；

輸出確定程序模塊，用于確定在t時刻，所述文本生成模型解碼端的輸出S_t為第一輸出，以及所述語言模型的輸出L_t為第二輸出；

第三輸出確定程序模塊，用于基于所述第一輸出和所述第二輸出的加權和確定第三輸出；