[發明專利]一種基于互信息的中文糾錯方法、裝置、設備及存儲介質

有效

• 申請號: 201710817047.0
• 申請日: 2017-09-12
• 公開（公告）號: CN107608963B
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 何朋;羅歡;權圣
• 申請（專利權）人: 馬上消費金融股份有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F40/232;G06F40/216
• 代理公司: 北京銀龍知識產權代理有限公司 11243
• 代理人: 許靜

1.一種基于互信息的中文糾錯方法，其特征在于，包括：

獲得待糾錯的目標短句；

對所述目標短句進行分詞處理，獲得分詞序列；

確定所述分詞序列對應的拼音組合序列，所述拼音組合序列中每個拼音組合與所述分詞序列中每個分詞一一順序對應；具體的，將所述分詞序列中的每一個分詞轉化為每一個分詞對應的包含語調的全拼、或每一個分詞對應的全拼、或每一個分詞對應的首字母形式之中的任意一種或多種形式的拼音組合，得到分詞序列對應的所述拼音組合序列；

基于所述拼音組合序列中每個拼音組合映射的同音詞語，獲得糾錯詞語序列集合；

根據互信息計算公式對所述糾錯詞語序列集合中每一個糾錯詞語序列，計算該糾錯詞語序列中每一個詞語與相鄰詞語的互信息；

將該糾錯詞語序列中每一個詞語與相鄰詞語的互信息進行累加，獲得該糾錯詞語序列的互信息；

將所述糾錯詞語序列集合中互信息最大的糾錯詞語序列確定為所述目標短句的糾錯結果。

2.根據權利要求1所述的基于互信息的中文糾錯方法，其特征在于，針對該糾錯詞語序列中每一個詞語，通過以下步驟計算該詞語與相鄰詞語的互信息：

基于預先獲得的語料庫，確定該詞語的詞頻、該詞語與相鄰詞語的搭配組合的搭配頻率；

根據所述詞頻和所述搭配頻率，確定該詞語與相鄰詞語的互信息。

3.根據權利要求1所述的基于互信息的中文糾錯方法，其特征在于，所述目標短句為根據預設的斷句符號，對待糾錯的文本中的長句進行斷句后獲得的。

4.一種基于互信息的中文糾錯裝置，其特征在于，包括：

目標短句獲得模塊，用于獲得待糾錯的目標短句；

分詞序列獲得模塊，用于對所述目標短句進行分詞處理，獲得分詞序列；

拼音組合序列確定模塊，用于確定所述分詞序列對應的拼音組合序列，所述拼音組合序列中每個拼音組合與所述分詞序列中每個分詞一一順序對應；具體的，將所述分詞序列中的每一個分詞轉化為每一個分詞對應的包含語調的全拼、或每一個分詞對應的全拼、或每一個分詞對應的首字母形式之中的任意一種或多種形式的拼音組合，得到分詞序列對應的所述拼音組合序列；

糾錯詞語序列集合獲得模塊，用于基于所述拼音組合序列中每個拼音組合映射的同音詞語，獲得糾錯詞語序列集合；

互信息計算模塊，用于針對所述糾錯詞語序列集合中每一個糾錯詞語序列，計算該糾錯詞語序列中每一個詞語與相鄰詞語的互信息；并將該糾錯詞語序列中每一個詞語與相鄰詞語的互信息進行累加，獲得該糾錯詞語序列的互信息；

糾錯結果確定模塊，用于將所述糾錯詞語序列集合中互信息最大的糾錯詞語序列確定為所述目標短句的糾錯結果。

5.根據權利要求4所述的基于互信息的中文糾錯裝置，其特征在于，所述互信息計算模塊，針對該糾錯詞語序列中每一個詞語，通過以下步驟計算該詞語與相鄰詞語的互信息：

基于預先獲得的語料庫，確定該詞語的詞頻、該詞語與相鄰詞語的搭配組合的搭配頻率；

根據所述詞頻和所述搭配頻率，確定該詞語與相鄰詞語的互信息。

6.根據權利要求4或5所述的基于互信息的中文糾錯裝置，其特征在于，所述目標短句為根據預設的斷句符號，對待糾錯的文本中的長句進行斷句后獲得的。

7.一種基于互信息的中文糾錯設備，其特征在于，包括：

存儲器，用于存儲計算機程序；

處理器，用于執行所述計算機程序時實現如權利要求1至3任一項所述基于互信息的中文糾錯方法的步驟。

8.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲有計算機程序，所述計算機程序被處理器執行時實現如權利要求1至3任一項所述基于互信息的中文糾錯方法的步驟。