[發明專利]文本對話方法、裝置及存儲介質

在審

• 申請號: 202011027353.2
• 申請日: 2020-09-25
• 公開（公告）號: CN112036156A
• 公開（公告）日: 2020-12-04
• 發明（設計）人: 崔志
• 申請（專利權）人: 北京小米松果電子有限公司
• 主分類號: G06F40/211
• 分類號: G06F40/211;G06N3/08;G06F16/332
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 李柯瑩

1.一種文本對話方法，其特征在于，所述方法包括：

獲取原始文本；

將所述原始文本輸入到文本模型中，得到所述文本模型輸出的所述原始文本的答復文本，其中，所述文本模型經過無監督語料進行預訓練，并通過對話語料進行訓練得到的，所述無監督語料中包括相同語言風格的語料，所述對話語料包括詢問語料和作為詢問語料的標簽的答復語料。

2.根據權利要求1所述的方法，其特征在于，所述文本模型訓練過程包括：

獲取所述無監督語料和所述對話語料；

通過所述無監督語料對文本模型進行無監督預訓練；

在所述預訓練完成后，通過所述對話語料對文本模型進行訓練，直到所述文本模型具有捕捉對話的能力，得到訓練完成的文本模型。

3.根據權利要求2所述的方法，其特征在于，所述獲取所述無監督語料和所述對話語料，包括：

獲取具有相同語言風格的語料，并通過形式參數對所述獲取到的語料中的上下句進行分隔，得到所述無監督語料；

獲取所述詢問語料和作為詢問語料的標簽的所述答復語料，并通過形式參數對所述詢問語料和所述答復語料進行分隔，得到所述對話語料。

4.根據權利要求2所述的方法，其他特征在于，所述對話語料包括訓練集以及驗證集，所述通過所述對話語料對文本模型進行訓練，直到所述文本模型具有捕捉對話的能力，得到訓練完成的文本模型，包括：

通過所述訓練集對所述文本模型訓練預設次數，并通過所述驗證集獲取每一次訓練后的文本模型的交叉熵；

將最小的所述交叉熵對應的文本模型作為所述訓練完成的文本模型。

5.根據權利要求1-4任一項所述的方法，其特征在于，所述文本模型為GPT2模型。

6.一種文本對話裝置，其特征在于，所述裝置包括：

獲取模塊，被配置成獲取原始文本；

執行模塊，被配置成將所述原始文本輸入到文本模型中，得到所述文本模型輸出的所述原始文本的答復文本，其中，所述文本模型經過無監督語料進行預訓練，并通過對話語料進行訓練得到的，所述無監督語料包括目標風格語料，所述對話語料包括詢問語料和作為詢問語料的標簽的答復語料。

7.根據權利要求6所述的裝置，其特征在于，所述裝置還包括訓練模型，所述訓練模型被配置成獲取所述無監督語料和所述對話語料；

通過所述無監督語料對文本模型進行無監督預訓練；

在所述預訓練完成后，通過所述對話語料對文本模型進行訓練，直到所述文本模型具有捕捉對話的能力，得到訓練完成的文本模型。

8.根據權利要求7所述的裝置，其特征在于，所述訓練模塊被配置成獲取具有相同語言風格的語料，并通過形式參數對獲取到的語料中的上下句進行分隔，得到所述無監督語料；

獲取所述詢問語料和作為詢問語料的標簽的所述答復語料，通過形式參數對所述詢問語料和所述答復語料進行分隔，得到所述對話語料。

9.一種文本對話裝置，其特征在于，包括：

處理器；

用于存儲處理器可執行指令的存儲器；

其中，所述處理器被配置為：

獲取原始文本；

將所述原始文本輸入到文本模型中，得到所述文本模型輸出的所述原始文本的答復文本，其中，所述文本模型經過無監督語料進行預訓練，并通過對話語料進行訓練得到的，所述無監督語料包括目標風格語料，所述對話語料包括詢問語料和作為詢問語料的標簽的答復語料。

10.一種計算機可讀存儲介質，其上存儲有計算機程序指令，其特征在于，該程序指令被處理器執行時實現權利要求1～5中任一項所述的文本對話方法的步驟。