[發明專利]一種對語言模型進行在線糾錯的方法及系統

在審

• 申請號: 201310024375.7
• 申請日: 2013-01-23
• 公開（公告）號: CN103942223A
• 公開（公告）日: 2014-07-23
• 發明（設計）人: 曹立新;萬廣魯
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F11/00
• 代理公司: 北京漢昊知識產權代理事務所(普通合伙) 11370
• 代理人: 朱海波

1.一種對語言模型進行在線糾錯的方法，該方法包括以下步驟：

記錄線上用戶在檢索過程中對檢索詞的糾錯行為；

基于所述線上用戶的糾錯行為形成糾錯映射表；

利用所述糾錯映射表對語言模型中的語料進行糾錯。

2.根據權利要求1所述的方法，其中，記錄線上用戶在檢索過程中對檢索詞的糾錯行為的步驟包括：

當線上用戶對初始檢索詞進行糾錯時，記錄糾錯過程中所述線上用戶使用的初始檢索詞、過程檢索詞以及目標檢索詞。

3.根據權利要求2所述的方法，其中：

在記錄用戶糾錯行為的過程中，計算相同的糾錯行為的出現的次數；

當所述相同的糾錯行為的出現的次數大于預定閾值時，該糾錯行為用于糾錯映射表的形成。

4.根據權利要求1至3中任一項所述的方法，其中，基于所述線上用戶的糾錯行為形成糾錯映射表的步驟包括：

從線上用戶特定的糾錯行為中，提取該糾錯行為中的初始檢索詞、過程檢索詞以及目標檢索詞，并將其進行關聯，記錄至糾錯映射表中。

5.根據權利要求4所述的方法，其中：

判斷所述特定糾錯行為的類型是否屬于同音糾錯、非補全糾錯以及字符集內糾錯，如果屬于上述類型的糾錯行為則基于該糾錯行為形成糾錯映射表。

6.根據權利要求4所述的方法，其中，利用所述糾錯映射表對語言模型中的語料進行糾錯的步驟包括：

將語言模型中的語料與所述糾錯映射表中的初始檢索詞和過程檢索詞進行匹配，在匹配成功的情況下，使用與所述初始檢索詞或過程檢索詞相關聯的目標檢索詞替代所述語料。

7.根據權利要求4所述的方法，其中，利用所述糾錯映射表對語言模型中的語料進行糾錯的步驟包括：

將語言模型中的語料進行分詞，形成多個詞語；

將該多個詞語分別與所述糾錯映射表中的初始檢索詞和過程檢索詞進行匹配，在匹配成功的情況下，使用與所述初始檢索詞或過程檢索詞相關聯的目標檢索詞替代所述詞語。

8.根據權利要求1至3中任一項所述的方法，其中，所述語言模型為N-Gram模型。

9.一種對語言模型進行在線糾錯的系統，包括：

記錄模塊，用于記錄線上用戶在檢索過程中對檢索詞的糾錯行為；

映射表形成模塊，用于基于所述線上用戶的糾錯行為形成糾錯映射表；

糾錯模塊，用于利用所述糾錯映射表對語言模型中的語料進行糾錯。

10.根據權利要求9所述的系統，其中：

當線上用戶對初始檢索詞進行糾錯時，所述記錄模塊記錄糾錯過程中所述線上用戶使用的初始檢索詞、過程檢索詞以及目標檢索詞。

11.根據權利要求10所述的系統，其中：

在記錄用戶糾錯行為的過程中，所述記錄模塊計算相同的糾錯行為的出現的次數。

12.根據權利要求11所述的系統，還包括：

閾值比較模塊，用于將所述相同的糾錯行為的出現的次數與預定閾值進行比較。

13.根據權利要求9至12中任一項所述的系統，其中：

從線上用戶特定的糾錯行為中，所述映射表形成模塊提取該糾錯行為中的初始檢索詞、過程檢索詞以及目標檢索詞，并將其進行關聯，記錄至糾錯映射表中。

14.根據權利要求13所述的系統，其中：

判斷所述特定糾錯行為的類型是否屬于同音糾錯、非補全糾錯以及字符集內糾錯，如果屬于上述類型的糾錯行為則基于該糾錯行為形成糾錯映射表。

15.根據權利要求9至12中任一項所述的系統，其中：

所述糾錯模塊將語言模型中的語料與所述糾錯映射表中的初始檢索詞和過程檢索詞進行匹配，在匹配成功的情況下，使用與所述初始檢索詞或過程檢索詞相關聯的目標檢索詞替代所述語料。

16.根據權利要求9至12中任一項所述的系統，還包括：

分詞模塊，用于將語言模型中的語料進行分詞，形成多個詞語。

17.根據權利要求9至12中任一項所述的系統，其中，所述語言模型為N-Gram模型。