[發明專利]一種基于語境進行分詞的方法和裝置

在審

• 申請號: 201410302925.1
• 申請日: 2014-06-27
• 公開（公告）號: CN104077275A
• 公開（公告）日: 2014-10-01
• 發明（設計）人: 項碧波
• 申請（專利權）人: 北京奇虎科技有限公司;奇智軟件（北京）有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06F17/30
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 趙娟

技術領域

本發明涉及分詞技術領域，特別是涉及一種基于語境進行分詞的方法和一種基于語境進行分詞的裝置。

背景技術

隨著互聯網的高速發展，網絡應用趨向多元化，網上的信息量急劇增加。

在各種場合下，用戶經常需要輸入關鍵信息進行關聯信息的獲取。例如，在搜索引擎中輸入關鍵詞搜索網頁信息、在論壇中輸入關鍵詞搜索帖子等等。

分詞是進行信息處理、信息檢索的基礎，所有的信息處理、信息檢索工作都是在分詞之后進行的。所以分詞的錯誤會被疊加到后續的處理過程中，而且很難被消除。正因為這樣所以對分詞的準確率的追求是個持續的過程，同時由于中文語言的固有的特性：沒有明確的詞的定義、詞和詞之間沒有分隔符、新詞、專有名詞不斷涌現等這些因素導致分詞很難做到100％的準確。

當前分詞系統使用的主要方法是基于統計的分詞。從形式上看，詞是穩定的字的組合，因此在上下文中，相鄰的字同時出現的次數越多，就越有可能構成一個詞。因此字與字相鄰共現的頻率或概率能夠較好的反映成詞的可信度。可以對語料中相鄰共現的各個字的組合的頻度進行統計，計算它們的互現信息。定義兩個字的互現信息，計算兩個漢字X、Y的相鄰共現概率。互現信息體現了漢字之間結合關系的緊密程度。當緊密程度高于某一個閾值時，便可認為此字組可能構成了一個詞。這種方法只需對語料中的字組頻度進行統計，但這種方法也有一定的局限性，會經常抽出一些共現頻度高、但并不是詞的常用字組，例如“這一”、“之一”、“有的”、“我的”、“許多的”等，并且對常用詞的識別精度差，時空開銷大。

分詞的結果錯誤致使后期獲取的關聯信息與當初的預期有很大差別，用戶體驗十分差，浪費了設備系統資源。

發明內容

鑒于上述問題，提出了本發明以便提供一種克服上述問題或者至少部分地解決上述問題的一種基于語境進行分詞的方法和相應的一種基于語境進行分詞的裝置。

依據本發明的一個方面，提供了一種基于語境進行分詞的方法，包括：

提取搜索資源中網頁的文本信息；

采用分詞詞典中的特征詞條對所述文本信息進行分詞處理，獲得一個或多個候選分詞；

當所述分詞處理出現歧義時，統計所述候選分詞在所述網頁中表征語境的詞頻數；

依據所述詞頻數調整所述分詞詞典中特征詞條的權重；

依據調整權重后的分詞詞典中的特征詞條對所述文本信息進行分詞處理，確定目標候選分詞。

可選地，所述候選分詞包括第一候選分詞和第二候選分詞中的至少一個；

所述采用分詞詞典中的特征詞條對所述文本信息進行分詞處理，獲得一個或多個候選分詞的步驟包括：

按照第一分詞規則對所述文本信息進行與所述特征詞條進行匹配；

當所述文本信息進行與所述特征詞條進行匹配時，提取所述特征詞條作為第一候選分詞；

按照第二分詞規則對所述文本信息進行與所述特征詞條進行匹配；

當所述文本信息進行與所述特征詞條進行匹配時，提取所述特征詞條作為第二候選分詞；

其中，所述第一分詞規則為與所述第二分詞規則不同的分詞規則。

可選地，所述表征語境的詞頻數包括所述第一候選分詞在所述網頁的文本語言環境中的第一詞頻數，所述第二候選分詞在所述網頁的文本語言環境中的第二詞頻數；

所述當所述分詞處理出現歧義時，統計所述候選分詞在所述網頁中表征語境的詞頻數的步驟包括：

當對同一個文本信息進行分詞處理所獲得的所述第一候選分詞和所述第二候選分詞不同時，判斷所述分詞處理出現歧義；

分別統計所述第一候選分詞在所述網頁中的文本語言環境中的第一詞頻數，以及，所述第二候選分詞在所述網頁中的文本語言環境中的第二詞頻數。

可選地，所述依據所述詞頻數調整所述分詞詞典中特征詞條的權重的步驟包括：

當所述第一詞頻數大于所述第二詞頻數時，提高所述第一候選分詞對應的特征詞條在所述分詞詞典中的權重；

當所述第二詞頻數大于所述第一詞頻數時，提高所述第二候選分詞對應的特征詞條在所述分詞詞典中的權重。

可選地，所述依據調整權重后的分詞詞典中的特征詞條對所述文本信息進行分詞處理，確定目標候選分詞的步驟包括：

按照指定的分詞規則對所述文本信息與提高權重后的所述特征詞條進行匹配；

當所述文本信息進行與所述特征詞條進行匹配時，提取所述特征詞條作為目標候選分詞。

根據本發明的另一方面，提供了一種基于語境進行分詞的裝置，包括：