[發明專利]一種基于詞權重進行分詞的方法和裝置

有效

• 申請號: 201510149892.6
• 申請日: 2015-03-31
• 公開（公告）號: CN104778159B
• 公開（公告）日: 2017-04-26
• 發明（設計）人: 陳進平
• 申請（專利權）人: 北京奇虎科技有限公司;奇智軟件（北京）有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 北京潤澤恒知識產權代理有限公司11319
• 代理人: 趙娟

技術領域

本發明涉及分詞的技術領域，特別是涉及一種基于詞權重進行分詞的方法和一種基于詞權重進行分詞的裝置。

背景技術

隨著互聯網的高速發展，網絡應用趨向多元化，網上的信息量急劇增加。

在各種場合下，用戶經常需要輸入關鍵信息進行關聯信息的獲取。例如，在搜索引擎中輸入關鍵詞搜索網頁信息、在論壇中輸入關鍵詞搜索帖子等等。

分詞是進行信息處理、信息檢索的基礎，信息處理、信息檢索工作一般都是在分詞之后進行的。

在分詞出現歧義時，分詞消歧一般采用詞圖，即將所有切分方式構建為一個圖。這個圖以詞為頂點，以詞的權重為邊，一般用詞頻來表示權重，即T(W)＝#W，T(W)為權重，#W為詞頻。

消歧的過程就是選擇最短路徑的過程，上述用詞頻來表示權重的方式，導致了消歧對低頻詞分詞錯誤較多，分詞效果較差。

例如，對“翠華為祖國服務”進行分詞處理，可以切分為“翠華|為”、“翠|華為”，而由于“華為”的出現次數遠遠大于“翠華”的出現次數。因此，在用詞頻來表示權重的方式中，會切分為“翠|華為”，造成分詞錯誤。

發明內容

鑒于上述問題，提出了本發明以便提供一種克服上述問題或者至少部分地解決上述問題的一種基于詞權重進行分詞的方法和相應的一種基于詞權重進行分詞的裝置。

依據本發明的一個方面，提供了一種基于詞權重進行分詞的方法，包括：

按照一個或多個切分方式對語料進行切分處理，以獲得一個或多個分詞；

針對每個分詞，統計所述分詞在所述語料中的第一詞頻，以及，組成所述分詞的字在所述語料中連續出現的第二詞頻；

根據所述第一詞頻與所述第二詞頻計算所述分詞在所述語料中的權重；

基于所述權重從所述一個或多個分詞中選取分詞結果。

可選地，所述按照一個或多個切分方式對語料進行切分處理，以獲得一個或多個分詞的步驟包括：

按照一個或多個切分方式對語料進行切分處理；

對切分處理之后的語料進行有效性篩選，以保留有效的分詞及去除無效的分詞。

可選地，所述根據所述第一詞頻與所述第二詞頻計算所述分詞在所述語料中的權重的步驟包括：

計算所述第一詞頻與所述第二詞頻之間的比值；

至少按照所述比值計算所述分詞在所述語料中的權重。

可選地，所述權重與比值正相關。

可選地，所述至少按照所述比值計算所述分詞在所述語料中的權重的步驟包括：

基于所述第一詞頻計算詞頻權重；

對所述比值配置所述詞頻權重，作為所述分詞在所述語料中的權重。

可選地，所述基于所述第一詞頻計算詞頻權重的步驟包括：

降低所述第一詞頻的詞頻數量，以獲得詞頻權重。

可選地，所述對所述比值配置所述詞頻權重，作為所述分詞在所述語料中的權重的步驟包括：

計算所述比值與所述詞頻權重的乘積，作為所述分詞在所述語料中的權重。

可選地，所述基于所述權重從所述一個或多個分詞中選取分詞結果的步驟包括：

將所述一個或多個分詞中權重最高的分詞設置為分詞結果。

根據本發明的另一方面，提供了一種基于詞權重進行分詞的裝置，包括：

切分處理模塊，適于按照一個或多個切分方式對語料進行切分處理，以獲得一個或多個分詞；

詞頻統計模塊，適于針對每個分詞，統計所述分詞在所述語料中的第一詞頻，以及，組成所述分詞的字在所述語料中連續出現的第二詞頻；

權重計算模塊，適于根據所述第一詞頻與所述第二詞頻計算所述分詞在所述語料中的權重；

分詞結果選取模塊，適于基于所述權重從所述一個或多個分詞中選取分詞結果。

可選地，所述切分處理模塊還適于：

按照一個或多個切分方式對語料進行切分處理；

對切分處理之后的語料進行有效性篩選，以保留有效的分詞及去除無效的分詞。

可選地，所述權重計算模塊還適于：

計算所述第一詞頻與所述第二詞頻之間的比值；

至少按照所述比值計算所述分詞在所述語料中的權重。

可選地，所述權重與比值正相關。

可選地，所述權重計算模塊還適于：

基于所述第一詞頻計算詞頻權重；

對所述比值配置所述詞頻權重，作為所述分詞在所述語料中的權重。

可選地，所述權重計算模塊還適于：

降低所述第一詞頻的詞頻數量，以獲得詞頻權重。