[發明專利]一種基于詞權重進行分詞的方法和裝置

有效

• 申請號: 201510149892.6
• 申請日: 2015-03-31
• 公開（公告）號: CN104778159B
• 公開（公告）日: 2017-04-26
• 發明（設計）人: 陳進平
• 申請（專利權）人: 北京奇虎科技有限公司;奇智軟件（北京）有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 北京潤澤恒知識產權代理有限公司11319
• 代理人: 趙娟

1.一種基于詞權重進行分詞的方法，包括：

按照一個或多個切分方式對語料進行切分處理，以獲得一個或多個分詞；

針對每個分詞，統計所述分詞在所述語料中的第一詞頻，以及，組成所述分詞的其中一個字在所述語料中連續出現在同一個字后面的第二詞頻；

根據所述第一詞頻與所述第二詞頻計算所述分詞在所述語料中的權重；

基于所述權重從所述一個或多個分詞中選取分詞結果；

其中，所述根據所述第一詞頻與所述第二詞頻計算所述分詞在所述語料中的權重的步驟包括：

計算所述第一詞頻與所述第二詞頻之間的比值；

至少按照所述比值計算所述分詞在所述語料中的權重。

2.如權利要求1所述的方法，其特征在于，所述按照一個或多個切分方式對語料進行切分處理，以獲得一個或多個分詞的步驟包括：

按照一個或多個切分方式對語料進行切分處理；

對切分處理之后的語料進行有效性篩選，以保留有效的分詞及去除無效的分詞。

3.如權利要求1所述的方法，其特征在于，所述權重與比值正相關。

4.如權利要求1或2或3所述的方法，其特征在于，所述至少按照所述比值計算所述分詞在所述語料中的權重的步驟包括：

基于所述第一詞頻計算詞頻權重；

對所述比值配置所述詞頻權重，作為所述分詞在所述語料中的權重。

5.如權利要求4所述的方法，其特征在于，所述基于所述第一詞頻計算詞頻權重的步驟包括：

降低所述第一詞頻的詞頻數量，以獲得詞頻權重。

6.如權利要求5所述的方法，其特征在于，所述對所述比值配置所述詞頻權重，作為所述分詞在所述語料中的權重的步驟包括：

計算所述比值與所述詞頻權重的乘積，作為所述分詞在所述語料中的權重。

7.如權利要求1或6所述的方法，其特征在于，所述基于所述權重從所述一個或多個分詞中選取分詞結果的步驟包括：

將所述一個或多個分詞中權重最高的分詞設置為分詞結果。

8.一種基于詞權重進行分詞的裝置，包括：

切分處理模塊，適于按照一個或多個切分方式對語料進行切分處理，以獲得一個或多個分詞；

詞頻統計模塊，適于針對每個分詞，統計所述分詞在所述語料中的第一詞頻，以及，組成所述分詞的其中一個字在所述語料中連續出現在同一個字后面的第二詞頻；

權重計算模塊，適于根據所述第一詞頻與所述第二詞頻計算所述分詞在所述語料中的權重；

分詞結果選取模塊，適于基于所述權重從所述一個或多個分詞中選取分詞結果；

其中，所述權重計算模塊還適于：

計算所述第一詞頻與所述第二詞頻之間的比值；

至少按照所述比值計算所述分詞在所述語料中的權重。

9.如權利要求8所述的裝置，其特征在于，所述切分處理模塊還適于：

按照一個或多個切分方式對語料進行切分處理；

對切分處理之后的語料進行有效性篩選，以保留有效的分詞及去除無效的分詞。

10.如權利要求8所述的裝置，其特征在于，所述權重與比值正相關。

11.如權利要求8或9或10所述的裝置，其特征在于，所述權重計算模塊還適于：

基于所述第一詞頻計算詞頻權重；

對所述比值配置所述詞頻權重，作為所述分詞在所述語料中的權重。

12.如權利要求11所述的裝置，其特征在于，所述權重計算模塊還適于：

降低所述第一詞頻的詞頻數量，以獲得詞頻權重。

13.如權利要求12所述的裝置，其特征在于，所述權重計算模塊還適于：

計算所述比值與所述詞頻權重的乘積，作為所述分詞在所述語料中的權重。

14.如權利要求8或13所述的裝置，其特征在于，所述分詞結果選取模塊還適于：

將所述一個或多個分詞中權重最高的分詞設置為分詞結果。