[發明專利]基于漢字音形相似性的拼寫糾錯方法、裝置以及電子設備

有效

• 申請號: 202110460497.5
• 申請日: 2021-04-27
• 公開（公告）號: CN112883718B
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 林金曙;婁東方;王炯亮;陳哲;陳春旭
• 申請（專利權）人: 恒生電子股份有限公司
• 主分類號: G06F40/232
• 分類號: G06F40/232;G06F40/242;G06K9/62
• 代理公司: 杭州華鼎知識產權代理事務所(普通合伙) 33217
• 代理人: 魏亮

本申請實施例提出了基于漢字音形相似性的拼寫糾錯方法、裝置以及電子設備，包括根據標準漢字數據庫構建包含漢字音形信息的樣本漢字集合；基于樣本漢字集合中的漢字轉換成本計算任意兩個漢字之間對應漢字音形信息的相似度，根據得到的相似度結果構建對應樣本漢字集合中每個漢字的相似漢字集合；獲取與目標漢字相關聯的候選詞，結合目標漢字與候選詞的相似度與閾值的數值關系篩選得到對目標漢字進行糾錯后的替換漢字。由于漢字轉換成本計算只發生在音形編輯初始過程中，具體過程中不涉及層級間的計算，只需從預先加載的漢字與詞典的映射字典取出即可；能夠有效降低BK樹中文糾錯算法從樹頂層往下不斷對比帶來的龐大計算量，提升糾錯效率。

技術領域

本申請涉及文本糾錯領域，尤其涉及基于漢字音形相似性的拼寫糾錯方法、裝置以及電子設備。

背景技術

中文光學漢字識別（OCR）和自動語音識別（ASR）等場景中，因漢字音形相似可能引起識別錯誤。一般通過添加ASR、OCR等模型輸出的后處理模塊（中文拼寫糾錯）可解決大量錯誤。

為了減少搜索遍歷次數引入了BK（Burkhard-Keller）樹結構。BK樹基于正確詞庫之間的漢字串漢字轉換成本構建樹形結構，后續基于該樹形結構快速搜索相近（漢字轉換成本）漢字串。相對于遍歷詞庫，BK樹搜索可大大提升性能。但它還存在如下不足：

（1）BK樹結構主要支持天然分詞場景（分詞一般搜索場景下才易得，其他場景下幾乎無法獲取正確分詞結果），使用范圍有限；

（2）BK樹糾錯需要實時計算兩漢字串之間的漢字轉換成本，在樹深度較深的情況下，性能較差；

（3）隨著領域詞典變大，BK樹變深，將導致性能急劇下降；

（4）BK樹檢索范圍隨著錯誤漢字數量閾值變大急劇變大，性能也將急劇下降。BK樹相似檢索雖然是一種合理的中文拼寫錯誤干預方法，但它存在性能不足和使用范圍的局限性問題。

發明內容

本申請實施例提出了基于漢字音形相似性的拼寫糾錯方法，由于本身不涉及層級間的節點計算過程，從而降低數據計算壓力。

具體的，根據本公開實施例的第一方面，本申請實施例提出的基于漢字音形相似性的拼寫糾錯方法包括：

根據標準漢字數據庫構建包含漢字音形信息的樣本漢字集合；

基于樣本漢字集合中的漢字轉換成本計算任意兩個漢字之間對應漢字音形信息的相似度，根據得到的相似度結果構建對應樣本漢字集合中每個漢字的相似漢字集合；

接收待糾錯文本，如果待糾錯文本中的目標漢字在已構建的相似漢字集合中，則獲取與目標漢字相關聯的候選詞，結合目標漢字與候選詞的相似度與閾值的數值關系篩選得到對目標漢字進行糾錯后的替換漢字。

可選的，所述基于樣本漢字集合中的漢字轉換成本計算任意兩個漢字之間對應漢字音形信息的相似度，根據得到的相似度結果構建對應樣本漢字集合中每個漢字的相似漢字集合，包括：

定義將樣本漢字集合中的漢字轉換為漢字的最小編輯次數作為漢字轉換成本；

結合相似度超參數構建如公式一所示的相似度計算公式，

公式一，

式中，為相似度超參數，表示兩個漢字和之間的漢字轉換成本，表示計算相似度的運算符；

將得到的對應漢字相似度結果按相似度由高到低的順序進行排序，選取排序后靠前的漢字構建對應漢字的映射關系；

將得到的映射關系構建對應漢字的相似漢字集合。

可選的，所述方法還包括在計算兩個漢字之間對應漢字音形信息的相似度之前，還包括：

對樣本漢字集合中的漢字字形信息進行篩選。