[發明專利]用于搜索引擎的分詞處理方法和裝置

無效

• 申請號: 201110378434.1
• 申請日: 2011-11-24
• 公開（公告）號: CN102402502A
• 公開（公告）日: 2012-04-04
• 發明（設計）人: 李理
• 申請（專利權）人: 北京趣拿信息技術有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 劉芳

技術領域

本發明涉及中文分詞技術，尤其涉及一種用于搜索引擎的分詞處理方法和裝置。

背景技術

搜索引擎中使用的中文分詞，是指一個漢字序列切分成一個一個單獨的詞，分詞是一個將連續的子序列按照已規定的規范重新組合成詞序列的過程。

現有技術中在進行中文分詞時，通常是根據人工或者半人工的方式獲取分詞詞典，該分詞詞典為一數據庫，數據庫中定義了大量的詞組，在搜索引擎進行分詞時，首先根據分詞詞典，對預搜索的語句按照最大正向匹配方式或最大逆向匹配方式進行分詞，其中最大正向匹配方法是指按照從前到后的順序從預搜索的語句中查詢與詞典中匹配的詞組，最大逆向匹配方法是指按照從后到前的順序從預搜索的語句中查詢與詞典中匹配的詞組。另外，還可以一種技術方案可以根據圖搜索的方法進行分詞處理。

上述利用最大正向匹配方法和最大逆向匹配方法進行分詞的過程中，可能出現對某一字段存在兩種不同的分詞結果的情況，無法確認正確的分詞結果，即發生分詞歧義，對于圖搜索模式也會發生上述的分詞歧義。

綜上所述，對于現有技術中基于詞典的分詞方法，其無法消除分詞歧義。

發明內容

本發明的第一個方面是提供一種用于搜索引擎的分詞處理方法，包括：

獲取用戶輸入的目標分詞語句；

根據預先存儲的分詞詞典對所述目標分詞語句進行分詞；

在確認出現分詞歧義字段時，所述分詞歧義字段被識別為具有兩種以上的分詞方式，調用預先建立的分詞統計模型，并選擇所述分詞歧義字段在所述分詞統計模型中具有最高概率的分詞方式進行分詞。

本發明的另一個方面是提供一種用于搜索引擎的分詞處理裝置，包括：

第一獲取模塊，用于獲取用戶輸入的目標分詞語句；

第一分詞模塊，用于根據預先存儲的分詞詞典對所述目標分詞語句進行分詞；

第二分詞模塊，用于在確認出現分詞歧義字段時，所述分詞歧義字段被識別為具有兩種以上的分詞方式，調用預先建立的分詞統計模型，并選擇所述分詞歧義字段在所述分詞統計模型中具有最高概率的分詞方式進行分詞。

本發明提供的技術方案，其首先通過利用分詞詞典對目標分詞語句進行分詞，并在出現分詞歧義字段時，分詞歧義字段被識別為具有兩種以上的分詞方式，調用預先建立的分詞統計模型，并選擇所述分詞歧義字段在所述分詞統計模型中具有最高概率的分詞方式進行分詞。該技術方案能夠實現對分詞歧義字段進行分詞處理，并根據上述消除歧義的分詞方法，能夠進一步提高利用搜索引擎進行檢索的準確率和覆蓋率。

附圖說明

圖1為本發明實施例中用于搜索引擎的分詞處理方法的流程示意圖；

圖2為本發明一具體實施例的流程示意圖；

圖3為本發明實施例中用于搜索引擎的分詞處理裝置的結構示意圖。

具體實施方式

針對現有技術中，基于詞典的分詞方法無法消除分詞歧義的缺陷，本發明實施例提供了一種用于搜索引擎的分詞處理方法。

圖1為本發明實施例中用于搜索引擎的分詞處理方法的流程示意圖，如圖1所示，該方法包括如下的步驟：

步驟101、獲取用戶輸入的目標分詞語句；

步驟102、根據預先存儲的分詞詞典對所述目標分詞語句進行分詞；

步驟103、在確認出現分詞歧義字段時，所述分詞歧義字段被識別為具有兩種以上的分詞方式，調用預先建立的分詞統計模型，并選擇所述分詞歧義字段在所述分詞統計模型中具有最高概率的分詞方式進行分詞。

本發明上述實施例中提供的用于搜索引擎的分詞處理方法，首先按照基于詞典的方法進行分詞處理，并在出現分詞歧義字段時，調用預先建立的分詞統計模型，選擇分詞歧義字段在所述分詞統計模型中具有最高概率的分詞方式進行分詞，進而實現對分詞歧義字段進行分詞處理，根據上述消除歧義的分詞方法，能夠進一步提高利用搜索引擎進行檢索的準確率和覆蓋率。