[發(fā)明專利]用于搜索引擎的分詞處理方法和裝置

無效

• 申請?zhí)枺?/td>: 201110378434.1
• 申請日: 2011-11-24
• 公開（公告）號: CN102402502A
• 公開（公告）日: 2012-04-04
• 發(fā)明（設計）人: 李理
• 申請（專利權）人: 北京趣拿信息技術有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 劉芳

1.一種用于搜索引擎的分詞處理方法，其特征在于，包括：

獲取用戶輸入的目標分詞語句；

根據預先存儲的分詞詞典對所述目標分詞語句進行分詞；

在確認出現分詞歧義字段時，所述分詞歧義字段被識別為具有兩種以上的分詞方式，調用預先建立的分詞統(tǒng)計模型，并選擇所述分詞歧義字段在所述分詞統(tǒng)計模型中具有最高概率的分詞方式進行分詞。

2.根據權利要求1所述的用于搜索引擎的分詞處理方法，其特征在于，所述根據預先存儲的分詞詞典對所述目標分詞語句進行分詞包括：

根據預先存儲的分詞詞典，按照最大正向匹配方法和最大逆向匹配方法對所述目標分詞語句進行分詞；或

根據預先存儲的分詞詞典，按照圖搜索方法對所述目標分詞語句進行分詞。

3.根據權利要求1或2所述的用于搜索引擎的分詞處理方法，其特征在于，所述預先建立的分詞統(tǒng)計模型包括用于標識分詞歧義字段的每種分詞方式的特征向量，以及統(tǒng)計獲得的所述每種分詞方式的特征向量對應的概率值。

4.根據權利要求3所述的用于搜索引擎的分詞處理方法，其特征在于，在所述分詞統(tǒng)計模型中，所述分詞歧義字段中的每個字被定義為單字詞類型、詞首類型、詞尾類型、第二位置詞類型、第三位置詞類型或其他位置詞類型中的一種，所述每種分詞方式的特征向量包括分詞歧義字段中的所有字的類型，以及所有字的排列順序。

5.根據權利要求4所述的用于搜索引擎的分詞處理方法，其特征在于，所述調用預先建立的分詞統(tǒng)計模型，并選擇所述分詞歧義字段在所述分詞統(tǒng)計模型中具有最高概率的分詞方式進行分詞包括：

建立該分詞歧義字段的兩種以上的分詞方式各自對應的特征向量，獲取分詞統(tǒng)計模型兩種以上的分詞方式各自對應的特征向量的概率，選擇概率最大的分詞方式進行分詞。

6.一種用于搜索引擎的分詞處理裝置，其特征在于，包括：

第一獲取模塊，用于獲取用戶輸入的目標分詞語句；

第一分詞模塊，用于根據預先存儲的分詞詞典對所述目標分詞語句進行分詞；

第二分詞模塊，用于在確認出現分詞歧義字段時，所述分詞歧義字段被識別為具有兩種以上的分詞方式，調用預先建立的分詞統(tǒng)計模型，并選擇所述分詞歧義字段在所述分詞統(tǒng)計模型中具有最高概率的分詞方式進行分詞。

7.根據權利要求6所述的用于搜索引擎的分詞處理裝置，其特征在于，所述第一分詞模塊包括：

第一分詞單元，用于根據預先存儲的分詞詞典，按照最大正向匹配方法和最大逆向匹配方法對所述目標分詞語句進行分詞；或

第二分詞單元，用于根據預先存儲的分詞詞典，按照圖搜索方法對所述目標分詞語句進行分詞。

8.根據權利要求6或7所述的用于搜索引擎的分詞處理裝置，其特征在于，所述預先建立的分詞統(tǒng)計模型包括用于標識分詞歧義字段的每種分詞方式的特征向量，以及統(tǒng)計獲得的所述每種分詞方式的特征向量對應的概率值。

9.根據權利要求8所述的用于搜索引擎的分詞處理裝置，其特征在于，在所述分詞統(tǒng)計模型中，所述分詞歧義字段中的每個字被定義為單字詞類型、詞首類型、詞尾類型、第二位置詞類型、第三位置詞類型或其他位置詞類型中的一種，所述每種分詞方式的特征向量包括分詞歧義字段中的所有字的類型，以及所有字的排列順序。

10.根據權利要求9所述的用于搜索引擎的分詞處理裝置，其特征在于，所述第二分詞模塊具體用于建立該分詞歧義字段的兩種以上的分詞方式各自對應的特征向量，獲取分詞統(tǒng)計模型兩種以上的分詞方式各自對應的特征向量的概率，選擇概率最大的分詞方式進行分詞。