[發明專利]文本處理方法、裝置、電子設備及可讀存儲介質

在審

• 申請號: 202110205899.0
• 申請日: 2021-02-24
• 公開（公告）號: CN112905775A
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 汪建;馮康;袁春陽
• 申請（專利權）人: 北京三快在線科技有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 任亞娟

1.一種文本處理方法，其特征在于，所述方法包括：

獲得當前對話文本，并獲得所述當前對話文本的歷史對話文本；

根據所述當前對話文本的語素特征和流暢度，以及所述當前對話文本的歷史對話文本與所述當前對話文本之間的關聯度，確定所述當前對話文本的正確概率；

在所述正確概率小于預設閾值時，確定所述當前對話文本包含錯誤詞語。

2.根據權利要求1所述的方法，其特征在于，獲得當前對話文本，包括：

獲得本輪對話中的用戶對話文本；

獲得所述當前對話文本的歷史對話文本，包括：

獲得針對上一輪對話中用戶對話文本的應答對話文本；或

獲得歷史輪對話中的用戶對話文本和/或針對歷史輪對話中用戶對話文本的應答對話文本。

3.根據權利要求1所述的方法，其特征在于，根據所述當前對話文本的語素特征和流暢度，以及所述當前對話文本的歷史對話文本與所述當前對話文本之間的關聯度，確定所述當前對話文本的正確概率，包括：

將所述當前對話文本和所述當前對話文本的歷史對話文本輸入預先訓練的正確概率預測模型，得到所述當前對話文本的正確概率；

其中，所述預先訓練的正確概率預測模型是以對話文本樣本和該對話文本樣本的歷史對話文本樣本為訓練樣本，對第一預設模型進行訓練得到的，所述對話文本樣本攜帶表征該對話文本樣本是否包含錯誤詞語的標簽。

4.根據權利要求1所述的方法，其特征在于，在確定所述當前對話文本包含錯誤詞語之后，所述方法還包括：

將所述當前對話文本輸入預先訓練的糾錯模型，得到所述當前對話文本的第一類候選糾正文本，所述糾錯模型是以對話文本樣本和該對話文本樣本中各個詞語的候選糾正詞語為訓練樣本，對第二預設模型進行訓練得到的。

5.根據權利要求1所述的方法，其特征在于，在確定所述當前對話文本包含錯誤詞語之后，所述方法還包括：

將所述當前對話文本和所述當前對話文本的歷史對話文本進行拼接，得到拼接文本；

將所述拼接文本輸入預先訓練的糾錯模型，得到所述當前對話文本的第一類候選糾正文本，所述糾錯模型是以對話文本樣本、該對話文本樣本中各個詞語的候選糾正詞語，以及拼接文本樣本為訓練樣本，對第三預設模型進行訓練得到的，所述拼接文本樣本為將對話文本樣本和該對話文本樣本的歷史對話文本進行拼接而得到的文本。

6.根據權利要求4或5所述的方法，其特征在于，一個詞語的候選糾正詞語是按照以下步驟得到的：

根據每兩個詞語之間的關聯度，構建預設詞表；

從所述預設詞表中查詢所述詞語的候選糾正詞語。

7.根據權利要求4或5所述的方法，其特征在于，在得到所述當前對話文本的第一類候選糾正文本之后，所述方法還包括：

從預設文本庫中獲取所述當前對話文本的第二類候選糾正文本；

根據所述當前對話文本的第一類候選糾正文本和第二類候選糾正文本，對所述當前對話文本進行糾錯，得到糾錯后文本。

8.一種文本處理裝置，其特征在于，所述裝置包括：

獲得模塊，用于獲得當前對話文本，并獲得所述當前對話文本的歷史對話文本；

第一確定模塊，用于根據所述當前對話文本的語素特征和流暢度，以及所述當前對話文本的歷史對話文本與所述當前對話文本之間的關聯度，確定所述當前對話文本的正確概率；

第二確定模塊，用于在所述正確概率小于預設閾值時，確定所述當前對話文本包含錯誤詞語。

9.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現如權利要求1-7任一所述的文本處理方法中的步驟。

10.一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行時實現如權利要求1-7任一所述的文本處理方法中的步驟。