[發明專利]分詞評價方法及裝置

有效

• 申請號: 200910181124.3
• 申請日: 2009-10-10
• 公開（公告）號: CN102043791A
• 公開（公告）日: 2011-05-04
• 發明（設計）人: 方高林;鄭全戰
• 申請（專利權）人: 騰訊科技(深圳)有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 何文彬

1.一種分詞評價方法，其特征在于，所述方法包括：

從互聯網中獲取每個測試詞語的測試語料，構建所述每個測試詞語的測試語料集；

以待評價的分詞程序對所述每個測試詞語及其測試語料集進行分詞處理；

將所述每個測試詞語的分詞結果與其測試語料集中的分詞結果進行比對，根據所述每個測試詞語的分詞結果與其測試語料集中的分詞結果的一致性，對所述待評價的分詞程序進行評價。

2.根據權利要求1所述的方法，其特征在于，所述從互聯網中獲取每個測試詞語的測試語料，構建所述每個測試詞語的測試語料集，具體包括：

將所述每個測試詞語作為搜索詞放入面向互聯網的搜索引擎中進行搜索，得到所述每個測試詞語的搜索結果；

在所述每個測試詞語的搜索結果中提取有效的測試語料，構建所述每個測試詞語的測試語料集。

3.根據權利要求1所述的方法，其特征在于，所述根據所述每個測試詞語的分詞結果與其測試語料集中的分詞結果的一致性，對所述待評價的分詞程序進行評價，具體包括：

統計每個測試語料集中的分詞結果的個數，并統計所述每個測試語料集中的分詞結果與所述每個測試語料集對應的測試詞語的分詞結果一致的個數；

根據所述統計出的個數，對所述待評價的分詞程序進行評價。

4.根據權利要求1所述的方法，其特征在于，所述根據所述每個測試詞語的分詞結果與其測試語料集中的分詞結果的一致性，對所述待評價的分詞程序進行評價，具體包括：

在所有測試語料集中，統計測試語料集中的所有分詞結果均與所述測試語料集對應的測試詞語的分詞結果一致的個數；

根據統計出的個數，及所有測試詞語的個數，對所述待評價的分詞程序進行評價。

5.一種分詞評價裝置，其特征在于，所述裝置包括：

構建模塊，用于從互聯網中獲取每個測試詞語的測試語料，構建所述每個測試詞語的測試語料集；

分詞模塊，用于以待評價的分詞程序對所述每個測試詞語及其測試語料集進行分詞處理；

比對模塊，用于將所述每個測試詞語的分詞結果與其測試語料集中的分詞結果進行比對；

評價模塊，用于在將所述每個測試詞語的分詞結果與其測試語料集中的分詞結果進行比對之后，根據所述每個測試詞語的分詞結果與其測試語料集中的分詞結果的一致性，對所述待評價的分詞程序進行評價。

6.根據權利要求5所述的裝置，其特征在于，所述構建模塊，具體包括：

搜索單元，具體用于將所述每個測試詞語作為搜索詞放入面向互聯網的搜索引擎中進行搜索，得到所述每個測試詞語的搜索結果；

構建單元，具體用于在所述每個測試詞語的搜索結果中提取有效的測試語料，構建所述每個測試詞語的測試語料集。

7.根據權利要求5所述的裝置，其特征在于，所述評價模塊，具體用于在將所述每個測試詞語的分詞結果與其測試語料集中的分詞結果進行比對之后，統計每個測試語料集中的分詞結果的個數，并統計所述每個測試語料集中的分詞結果與所述每個測試語料集對應的測試詞語的分詞結果一致的個數；根據統計出的個數，對所述待評價的分詞程序進行評價。

8.根據權利要求5所述的裝置，其特征在于，所述評價模塊，具體用于在將所述每個測試詞語的分詞結果與其測試語料集中的分詞結果進行比對之后，在所有測試語料集中，統計測試語料集的所有分詞結果均與所述測試語料集對應的測試詞語的分詞結果一致的個數；根據統計出的個數，及所有測試詞語的個數，對所述待評價的分詞程序進行評價。