[發明專利]一種分詞系統的評測方法和一種分詞評測系統

有效

• 申請號: 200810089834.9
• 申請日: 2008-03-28
• 公開（公告）號: CN101246473A
• 公開（公告）日: 2008-08-20
• 發明（設計）人: 張耀杰;邵榮防
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 北京集佳知識產權代理有限公司
• 代理人: 逯長明

1.一種分詞系統的評測方法，其特征在于，所述分詞系統包括基準分詞系統和目標分詞系統，所述方法包括：

采用目標分詞系統對測試語料進行多次切分，獲得多個目標切分結果，并采用基準分詞系統對所述測試預料進行切分，獲得基準切分結果；

將所述多個目標切分結果進行縱向對比，得到第一評測參數，用以評估所述目標分詞系統的穩定性；并將所述目標切分結果與所述基準切分結果進行橫向對比，得到第二評測參數，用以評估所述目標分詞系統的準確性。

2.如權利要求1所述的方法，其特征在于，還包括：

記錄所述評測參數符合預設條件的測試語料。

3.如權利要求2所述的方法，其特征在于，還包括：

從不符合所述預設條件的測試語料中，選取一定的測試語料生成語料庫。

4.如權利要求1、2或3所述的方法，其特征在于，所述評測步驟包括：

依據所述測試語料的多個目標切分結果計算第一評測參數；以及，匹配所述基準切分結果和目標切分結果獲得第二評測參數；

依據所述第一評測參數和第二評測參數評測所述目標分詞系統。

5.如權利要求1所述的方法，其特征在于，所述切分步驟包括：

獲取所述測試語料的特征信息；

所述基準分詞系統和目標分詞系統分別依據所述特征信息對所述測試語料進行切分，獲得基準切分結果和目標切分結果。

6.如權利要求5所述的方法，其特征在于，所述切分步驟還包括：

將具有同一特征信息的測試語料保存至同一文件中。

7.如權利要求2所述的方法，其特征在于，所述評測參數符合預設條件的測試語料為不合理語料，所述記錄為在文件或數據庫中記錄。

8.一種分詞評測系統，其特征在于，所述評測系統用于評測分詞系統，所述分詞系統包括基準分詞系統和目標分詞系統，所述評測系統包括：

結果獲取模塊，用于采用目標分詞系統對測試語料進行多次切分，獲得多個目標切分結果，并采用基準分詞系統對所述測試預料進行切分，獲得基準切分結果；

參數評測模塊，用于將所述多個目標切分結果進行縱向對比，得到第一評測參數，用以評估所述目標分詞系統的穩定性；并將所述目標切分結果與所述基準切分結果進行橫向對比，得到第二評測參數，用以評估所述目標分詞系統的準確性。

9.如權利要求8所述的評測系統，其特征在于，還包括：

記錄模塊，用于記錄所述評測參數符合預設條件的測試語料。

10.如權利要求9所述的評測系統，其特征在于，還包括：

自定義庫生成模塊，用于從不符合所述預設條件的測試語料中，選取一定的測試語料生成語料庫。

11.如權利要求8、9或10所述的評測系統，其特征在于，所述參數評測模塊包括：

參數計算子模塊，用于依據所述測試語料的多個目標切分結果計算第一評測參數；以及，匹配所述基準切分結果和目標切分結果獲得第二評測參數；

評測子模塊，用于依據所述第一評測參數和第二評測參數評測所述目標分詞系統。

12.如權利要求8所述的評測系統，其特征在于，所述結果獲取模塊包括：

特征提取子模塊，用于獲取所述測試語料的特征信息；

切分子模塊，用于獲得所述基準分詞系統和目標分詞系統分別依據所述特征信息對所述測試語料切分后的基準切分結果和目標切分結果。

13.如權利要求12所述的評測系統，其特征在于，所述結果獲取模塊還包括：

保存子模塊，用于將具有同一特征信息的測試語料保存至同一文件中。