[發明專利]文本對話方法、裝置及存儲介質

在審

• 申請號: 202011027353.2
• 申請日: 2020-09-25
• 公開（公告）號: CN112036156A
• 公開（公告）日: 2020-12-04
• 發明（設計）人: 崔志
• 申請（專利權）人: 北京小米松果電子有限公司
• 主分類號: G06F40/211
• 分類號: G06F40/211;G06N3/08;G06F16/332
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 李柯瑩

本公開涉及一種文本對話方法、裝置及存儲介質，解決了相關技術在文本對話場景下，文本風格的轉換依賴于使用大量不同語言風格平行語料進行模型訓練的技術問題。本方法包括：取原始文本；將所述原始文本輸入到文本模型中，得到所述文本模型輸出的所述原始文本的答復文本，其中，所述文本模型經過無監督語料進行預訓練，并通過對話語料進行訓練得到的，所述無監督語料中包括相同語言風格的語料，所述對話語料包括詢問語料和作為詢問語料的標簽的答復語料。經過無監督語料預訓練文本模型實現文本風格轉換，無需使用不同語言風格的平行語料，并且通過對話語料微調后的文本模型還可文本對話。

技術領域

本公開涉及機器學習技術領域，尤其涉及一種文本對話方法、裝置及存儲介質。

背景技術

在機器學習技術領域中，機器學習是人工智能技術的一個重要方向，但未實現通過機器學習完成文本的風格轉換。

相關技術中通過構建大規模的平行語料數據集，從數據集中獲取對齊語料，并通過對齊語料對seq2seq模型進行訓練，以對seq2seq模型進行情感風格轉換訓練；根據應用場景獲取目標文本，將所述目標文本輸入已訓練的seq2seq模型，seq2seq模型輸出相應情感風格的轉換語料。

發明內容

為克服相關技術中存在的問題，本公開提供一種文本對話方法、裝置及存儲介質。

根據本公開實施例的第一方面，提供一種文本對話方法，包括：

獲取原始文本；

將所述原始文本輸入到文本模型中，得到所述文本模型輸出的所述原始文本的答復文本，其中，所述文本模型經過無監督語料進行預訓練，并通過對話語料進行訓練得到的，所述無監督語料中包括相同語言風格的語料，所述對話語料包括詢問語料和作為詢問語料的標簽的答復語料。

可選的，所述文本模型訓練過程包括：

獲取所述無監督語料和所述對話語料；

通過所述無監督語料對文本模型進行無監督預訓練；

在所述預訓練完成后，通過所述對話語料對文本模型進行訓練，直到所述文本模型具有捕捉對話的能力，得到訓練完成的文本模型。

可選的，所述獲取所述無監督語料和所述對話語料，包括：

獲取具有相同語言風格的語料，并通過形式參數對所述獲取到的語料中的上下句進行分隔，得到所述無監督語料；

獲取所述詢問語料和作為詢問語料的標簽的所述答復語料，并通過形式參數對所述詢問語料和所述答復語料進行分隔，得到所述對話語料。

可選的，所述對話語料包括訓練集以及驗證集，所述通過所述對話語料對文本模型進行訓練，直到所述文本模型具有捕捉對話的能力，得到訓練完成的文本模型，包括：

通過所述訓練集對所述文本模型訓練預設次數，并通過所述驗證集獲取每一次訓練后的文本模型的交叉熵；

將最小的所述交叉熵對應的文本模型作為所述訓練完成的文本模型。

可選的，所述文本模型為GPT2模型。

根據本公開實施例的第二方面，提供一種文本對話裝置，包括：

獲取模塊，被配置成獲取原始文本；

執行模塊，被配置成將所述原始文本輸入到文本模型中，得到所述文本模型輸出的所述原始文本的答復文本，其中，所述文本模型經過無監督語料進行預訓練，并通過對話語料進行訓練得到的，所述無監督語料包括目標風格語料，所述對話語料包括詢問語料和作為詢問語料的標簽的答復語料。

可選的，所述裝置還包括訓練模型，所述訓練模型被配置成獲取所述無監督語料和所述對話語料；