[發明專利]一種文本錯誤檢測方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010558705.0
• 申請日: 2020-06-18
• 公開（公告）號: CN113822052A
• 公開（公告）日: 2021-12-21
• 發明（設計）人: 余勇宏
• 申請（專利權）人: 上海流利說信息技術有限公司
• 主分類號: G06F40/253
• 分類號: G06F40/253;G06F40/30
• 代理公司: 北京信遠達知識產權代理有限公司 11304
• 代理人: 范志平

1.一種文本錯誤檢測方法，其特征在于，包括：

獲取第一語言的訓練文本，并確定所述訓練文本的困惑度和語法錯誤信息；

將所述訓練文本翻譯為第二語言的樞軸語言文本，將所述樞軸語言文本翻譯為所述第一語言的目標文本；

計算所述訓練文本與所述目標文本的文本相似度，并確定所述目標文本的困惑度；

將所述訓練文本和所述目標文本分別與所述樞軸語言文本進行詞對齊操作，得到所述訓練文本和所述目標文本的對齊評價信息；

根據所述訓練文本的困惑度、所述訓練文本的語法錯誤信息、所述文本相似度、所述目標文本的困惑度、所述目標文本與所述訓練文本的困惑度比值和所述對齊評價信息訓練初始模型得到語義不明檢測模型；

通過所述語義不明檢測模型對待檢測語句文本執行文本錯誤檢測操作。

2.根據權利要求1所述文本錯誤檢測方法，其特征在于，所述語法錯誤信息包括所述訓練文本中每個詞存在語法錯誤的平均概率，以及詞根不同的詞替換錯誤數量。

3.根據權利要求1所述文本錯誤檢測方法，其特征在于，將所述訓練文本和所述目標文本分別與樞軸語言文本進行詞對齊操作，得到所述訓練文本和所述目標文本的對齊評價信息，包括：

將所述訓練文本與所述樞軸語言文本進行詞對齊操作得到第一對齊結果；

將所述目標文本與所述樞軸語言文本進行詞對齊操作得到第二對齊結果；

根據所述第一對齊結果和所述第二對齊結果確定所述訓練文本和所述目標文本的對齊評價信息。

4.根據權利要求3所述文本錯誤檢測方法，其特征在于，所述對齊評價信息包括：

所述訓練文本中對齊的實詞與所在句子中所有實詞數量的比值；

所述目標文本中對齊的實詞與所在句子中所有實詞數量的比值；

對齊數比值；其中，所述對齊數比值的確定過程包括：將所述訓練文本和所述目標文本中同時與樞軸語言文本對應的詞語連線，將連線交叉個數和總對齊的比值作為所述對齊數比值；

第一詞對齊概率與第二詞對齊比例的概率；其中，所述第一詞對齊概率為所述訓練文本與所述樞軸語言文本詞對齊的概率，所述第二詞對齊比例為所述訓練文本與所述樞軸語言文本詞對齊的概率。

5.根據權利要求1所述文本錯誤檢測方法，其特征在于，通過所述語義不明檢測模型對待檢測語句文本執行文本錯誤檢測操作包括：

確定待檢測語句文本；

將所述待檢測語句文本輸入至所述語義不明檢測模型，根據所述語義不明檢測模型輸出的檢測結果判斷所述待檢測語句文本是否存在文本錯誤。

6.根據權利要求5所述文本錯誤檢測方法，其特征在于，所述確定待檢測語句文本包括：

若接收到語音信息，則將所述語音信息轉換為所述第一語言的待檢測語句文本。

7.根據權利要求1所述文本錯誤檢測方法，其特征在于，在通過所述語義不明檢測模型對待檢測語句文本執行文本錯誤檢測操作之后，還包括：

在所述待檢測語句文本標記存在錯誤的文本內容，并根據所述存在錯誤的文本內容生成所述第一語言的糾正文本。

8.一種文本錯誤檢測裝置，其特征在于，包括：

訓練文本處理模塊，用于獲取第一語言的訓練文本，并確定所述訓練文本的困惑度和語法錯誤信息；

語言翻譯模塊，用于將所述訓練文本翻譯為第二語言的樞軸語言文本，將所述樞軸語言文本翻譯為所述第一語言的目標文本；

目標文本處理模塊，用于計算所述訓練文本與所述目標文本的文本相似度，并確定所述目標文本的困惑度；

詞對齊模塊，用于將所述訓練文本和所述目標文本分別與所述樞軸語言文本進行詞對齊操作，得到所述訓練文本和所述目標文本的對齊評價信息；

模型訓練模塊，用于根據所述訓練文本的困惑度、所述訓練文本的語法錯誤信息、所述文本相似度、所述目標文本的困惑度、所述目標文本與所述訓練文本的困惑度比值和所述對齊評價信息訓練初始模型得到語義不明檢測模型；

檢測模塊，用于通過所述語義不明檢測模型對待檢測語句文本執行文本錯誤檢測操作。