[發明專利]文本糾錯方法、裝置、電子設備及存儲介質

有效

• 申請號: 202111093910.5
• 申請日: 2021-09-17
• 公開（公告）號: CN113627160B
• 公開（公告）日: 2023-09-22
• 發明（設計）人: 李驍;賴眾程;王亮;高洪喜;許海金;吳鵬召;李會璟;李興輝;周柱君
• 申請（專利權）人: 平安銀行股份有限公司
• 主分類號: G06F40/232
• 分類號: G06F40/232;G06F40/242;G06F40/289
• 代理公司: 深圳市沃德知識產權代理事務所(普通合伙) 44347
• 代理人: 高杰;于志光

1.一種文本糾錯方法，其特征在于，所述方法包括：

獲取待處理文本，對所述待處理文本進行分詞處理，得到分詞集；

對所述分詞集中的各個分詞進行同音詞查詢，得到所述分詞對應的同音詞列表；

利用所述同音詞列表中的同音詞對所述分詞集中的分詞進行替換，得到多個標準文本，并分別計算每個所述標準文本的困惑度，選擇所述困惑度大于或者等于預設的困惑閾值的標準文本為目標文本；

利用預構建的標準糾錯模型對所述目標文本進行糾錯處理，得到初始糾錯結果；

利用預設的豁免詞典剔除所述初始糾錯結果中的豁免詞，得到標準糾錯結果；

其中，所述利用預構建的標準糾錯模型對所述目標文本進行糾錯處理，得到初始糾錯結果之前，所述方法還包括：獲取訓練文本集，對所述訓練文本集進行編碼處理，得到訓練向量集；對所述訓練向量集進行特征提取處理，得到特征向量集；將所述特征向量集輸入至預設文本糾錯模型中的全連接層進行概率計算，得到預測概率值集；計算所述預測概率值集中預測概率值和預設的真實概率值之間的交叉熵損失值；根據所述交叉熵損失值調整所述預設文本糾錯模型的內部參數，直到所述交叉熵損失值小于預設的損失閾值，得到標準糾錯模型；

所述計算所述預測概率值集中預測概率值和預設的真實概率值之間的交叉熵損失值，包括：利用如下計算公式計算交叉熵損失值：

其中，L為交叉熵損失值，x為訓練文本集中的訓練文本，y為預設的真實概率值，a為預測概率值，n表示訓練文本集中訓練文本的總數；

所述利用預設的豁免詞典剔除所述初始糾錯結果中的豁免詞，得到標準糾錯結果，包括：判斷所述初始糾錯結果中是否存在與所述豁免詞典中一致的豁免詞；若所述初始糾錯結果中存在與所述豁免詞典中一致的豁免詞，則將所述豁免詞進行剔除，得到標準糾錯結果；

所述豁免詞典是針對各種不同的應用場景下的專有詞匯進行統計匯總形成的設定詞典。

2.如權利要求1所述的文本糾錯方法，其特征在于，所述對所述待處理文本進行分詞處理，得到分詞集，包括：

刪除所述待處理文本中的特殊詞和停用詞，得到初始文本；

將所述初始文本輸入預設的基準分詞器中，得到多個分詞并匯總得到分詞集。

3.如權利要求1所述的文本糾錯方法，其特征在于，所述對所述分詞集中的各個分詞進行同音詞查詢，得到所述分詞對應的同音詞列表，包括：

獲取預設的同音詞詞庫；

根據所述同音詞詞庫查詢所述各個分詞對應的同音詞，并對所述同音詞進行匯總，得到所述分詞對應的同音詞列表。

4.如權利要求1所述的文本糾錯方法，其特征在于，所述分別計算每個所述標準文本的困惑度，包括：

利用如下計算公式分別計算每個所述標準文本的困惑度：

其中，PP(S)為所述困惑度，N為所述標準文本中的分詞個數，w_i為第i個分詞，p(w₁w₂…w_i-1)為分詞w₁w₂…w_i-1出現的概率。

5.一種文本糾錯裝置，用于實現如權利要求1至4中任意一項所述的文本糾錯方法，其特征在于，所述裝置包括：

文本分詞模塊，用于獲取待處理文本，對所述待處理文本進行分詞處理，得到分詞集；

同音詞查詢模塊，用于對所述分詞集中的各個分詞進行同音詞查詢，得到所述分詞對應的同音詞列表；

困惑度計算模塊，用于利用所述同音詞列表中的同音詞對所述分詞集中的分詞進行替換，得到多個標準文本，并分別計算每個所述標準文本的困惑度，選擇所述困惑度大于或者等于預設的困惑閾值的標準文本為目標文本；

文本糾錯模塊，用于利用預構建的標準糾錯模型對所述目標文本進行糾錯處理，得到初始糾錯結果，利用預設的豁免詞典剔除所述初始糾錯結果中的豁免詞，得到標準糾錯結果。