[發明專利]對話生成方法、裝置、電子設備及存儲介質

在審

• 申請號: 202011035749.1
• 申請日: 2020-09-27
• 公開（公告）號: CN112131368A
• 公開（公告）日: 2020-12-25
• 發明（設計）人: 孫思
• 申請（專利權）人: 平安國際智慧城市科技股份有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06N3/04;G06N3/08
• 代理公司: 深圳市沃德知識產權代理事務所(普通合伙) 44347
• 代理人: 高杰;于志光

1.一種對話生成方法，其特征在于，所述方法包括：

獲取對話語料數據和非對話語料數據；

使用所述對話語料數據初始化預構建的前向翻譯模型和后向翻譯模型；

基于所述非對話語料數據，使用初始化后的所述后向翻譯模型對初始化后的所述前向翻譯模型進行訓練；

通過訓練好的所述前向翻譯模型，生成待處理問題對應的回復內容。

2.如權利要求1所述的對話生成方法，其特征在于，所述使用所述對話語料數據初始化預構建的前向翻譯模型和后向翻譯模型，包括：

將所述對話語料數據中的問題作為第一輸入數據，所述對話語料數據中的回復作為第一候選輸出數據，并使用所述第一輸入數據和所述第一候選輸出數據對所述前向翻譯模型進行訓練，得到初始化后的所述前向翻譯模型；

將所述對話語料數據中的回復作為第二輸入數據，所述對話語料數據中的問題作為第二候選輸出數據，并使用所述第二輸入數據和所述第二候選輸出數據對所述后向翻譯模型進行訓練，得到初始化后的所述后向翻譯模型。

3.如權利要求2所述的對話生成方法，其特征在于，所述使用所述第一輸入數據和所述第一候選輸出數據對所述前向翻譯模型進行訓練，包括：

通過所述前向翻譯模型的編碼器對所述第一輸入數據進行編碼，得到所述第一輸入數據對應的語義向量；

在所述第一候選輸出數據中選擇第一解碼輸出數據，根據所述第一解碼輸出數據，使用所述前向翻譯模型的解碼器對所述語義向量進行解碼訓練。

4.如權利要求1所述的對話生成方法，其特征在于，所述基于所述非對話語料數據，使用初始化后的所述后向翻譯模型對初始化后的所述前向翻譯模型進行訓練，包括：

步驟A：將所述非對話語料數據輸入至初始化后的所述后向翻譯模型，生成第一訓練數據集，并使用所述第一訓練數據集訓練初始化后的所述前向翻譯模型，得到與所述前向翻譯模型輸出的回復對應的似然概率；

步驟B：將所述非對話語料數據輸入至訓練過的所述前向翻譯模型，生成第二訓練數據集，并使用所述第二訓練數據集訓練初始化后的所述后向翻譯模型，得到與所述后向翻譯模型輸出的問題對應的似然概率；

步驟C：調整訓練過的所述前向翻譯模型以及后向翻譯模型的參數，并重復所述步驟A及所述步驟B，直到所述似然概率及所述似然概率滿足預設的停止條件。

5.如權利要求4所述的對話生成方法，其特征在于，所述將所述非對話語料數據輸入至初始化后的所述后向翻譯模型，生成第一訓練數據集，包括：

將所述非對話語料數據輸入至初始化后的所述后向翻譯模型中，使用初始化后的所述后向翻譯模型輸出對應的回復數據作為所述非對話語料數據的問題；

將所述非對話語料數據和所述對應的回復數據組成第一訓練數據集。

6.如權利要求4所述的對話生成方法，其特征在于，所述將所述非對話語料數據輸入至訓練過的所述前向翻譯模型，生成第二訓練數據集，包括：

將所述非對話語料數據輸入至訓練過的所述前向翻譯模型中，利用訓練過的所述前向翻譯模型輸出對應的帶有標簽的回復數據；

將所述非對話語料數據和所述對應的帶有標簽的回復數據組成第二訓練數據集。

7.如權利要求1所述的對話生成方法，其特征在于，所述獲取對話語料數據和非對話語料數據，包括：

從預設的數據庫中獲取所述對話語料數據；

從網頁上抓取所述非對話語料數據；

對所述對話語料數據和所述非對話語料數據進行過濾處理，刪除含有特定關鍵詞的語料數據。

8.一種對話生成裝置，其特征在于，所述裝置包括：

語料數據獲取模塊，用于獲取對話語料數據和非對話語料數據；

模型初始化模塊，用于使用所述對話語料數據初始化預構建的前向翻譯模型和后向翻譯模型；

模型訓練模塊，用于基于所述非對話語料數據，使用所述初始化后的所述后向翻譯模型對初始化后的所述前向翻譯模型進行訓練；

回復生成模塊，用于通過訓練好的所述前向翻譯模型，生成待處理問題對應的回復內容。