[發明專利]文本處理方法、裝置、電子設備及可讀存儲介質

在審

• 申請號: 202110205899.0
• 申請日: 2021-02-24
• 公開（公告）號: CN112905775A
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 汪建;馮康;袁春陽
• 申請（專利權）人: 北京三快在線科技有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 任亞娟

本申請提供了一種文本處理方法、裝置、電子設備及可讀存儲介質。所述方法包括：獲得當前對話文本，并獲得所述當前對話文本的歷史對話文本；根據所述當前對話文本的語素特征和流暢度，以及所述當前對話文本的歷史對話文本與所述當前對話文本之間的關聯度，確定所述當前對話文本的正確概率；在所述正確概率小于預設閾值時，確定所述當前對話文本包含錯誤詞語。通過本申請的文本處理方法，可在檢測到用戶輸入的語音后，結合當前語音和當前語音的上下文信息，準確地識別出語音中的錯誤，有助于后續順利實現對錯誤詞語的糾正，進而提升后續任務的成功率。

技術領域

本申請實施例涉及數據處理技術領域，尤其涉及一種文本處理方法、裝置、電子設備及可讀存儲介質。

背景技術

隨著語音及自然語言處理技術的發展，越來越多的場景利用語音方式進行交互。語音識別模塊(ASR，Automatic Speech Recognition)負責將語音轉換為對話文本，轉換結果中很可能會出現錯誤。對于較長的對話文本，片段錯誤影響著最終的應用，對于較短的對話文本，如僅包含一個詞語時，可能出現整句錯誤的情況。因此，在語音交互場景中，語音識別結果糾錯尤為重要。

語音識別糾錯過程大致可分為兩個階段：發現錯誤和糾正錯誤。在發現錯誤階段，相關技術中可以利用糾錯庫直接處理對話文本發現錯誤詞語，或者利用語言模型判斷對話文本的流暢度，或者利用后續的交互信息做澄清。然而這些方式對于較短的對話文本或者較長的對話文本則很難準確發現錯誤，例如較短的對話文本為9吧時，識別成酒吧，再例如較長的對話文本為如我考了100分時，識別成我烤了100份，因此相關技術中的語音識別糾錯方式在發現錯誤時能力極其有限。

發明內容

本申請提供一種文本處理方法、裝置、電子設備及可讀存儲介質，可準確地識別出語音中的錯誤。

本申請第一方面提供了一種文本處理方法，所述方法包括：

獲得當前對話文本，并獲得所述當前對話文本的歷史對話文本；

根據所述當前對話文本的語素特征和流暢度，以及所述當前對話文本的歷史對話文本與所述當前對話文本之間的關聯度，確定所述當前對話文本的正確概率；

在所述正確概率小于預設閾值時，確定所述當前對話文本包含錯誤詞語。

可選地，獲得當前對話文本，包括：

獲得本輪對話中的用戶對話文本；

獲得所述當前對話文本的歷史對話文本，包括：

獲得針對上一輪對話中用戶對話文本的應答對話文本；或

獲得歷史輪對話中的用戶對話文本和/或針對歷史輪對話中用戶對話文本的應答對話文本。

可選地，根據所述當前對話文本的語素特征和流暢度，以及所述當前對話文本的歷史對話文本與所述當前對話文本之間的關聯度，確定所述當前對話文本的正確概率，包括：

將所述當前對話文本和所述當前對話文本的歷史對話文本輸入預先訓練的正確概率預測模型，得到所述當前對話文本的正確概率；

其中，所述預先訓練的正確概率預測模型是以對話文本樣本和該對話文本樣本的歷史對話文本樣本為訓練樣本，對第一預設模型進行訓練得到的，所述對話文本樣本攜帶表征該對話文本樣本是否包含錯誤詞語的標簽。

可選地，在確定所述當前對話文本包含錯誤詞語之后，所述方法還包括：

將所述當前對話文本輸入預先訓練的糾錯模型，得到所述當前對話文本的第一類候選糾正文本，所述糾錯模型是以對話文本樣本和該對話文本樣本中各個詞語的候選糾正詞語為訓練樣本，對第二預設模型進行訓練得到的。

可選地，在確定所述當前對話文本包含錯誤詞語之后，所述方法還包括：