[發明專利]適用于網絡新詞的分詞處理方法及裝置

在審

• 申請號: 201810191641.8
• 申請日: 2018-03-08
• 公開（公告）號: CN110245345A
• 公開（公告）日: 2019-09-17
• 發明（設計）人: 趙琦;韋瑋
• 申請（專利權）人: 普天信息技術有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩;李相雨

1.一種適用于網絡新詞的分詞處理方法，其特征在于，包括：

對目標文段進行分詞處理，獲得多個分詞語；

選取在所述目標文段中相鄰的分詞語作為目標詞語，統計所述目標詞語出現的次數，以及統計所述相鄰的分詞語各自出現的次數；

根據所述目標詞語的次數、所述相鄰的分詞語各自出現的次數和預設的判定公式確定所述目標詞語是否為初始網絡新詞。

2.根據權利要求1所述的方法，其特征在于，根據所述目標詞語的次數、所述相鄰的分詞語各自出現的次數和預設的判定公式確定所述目標詞語是否為網絡新詞，包括：

根據所述目標詞語的次數、所述相鄰的分詞語各自出現的次數和預設的判定公式獲得所述目標詞語對應的判定值；

若判定值小于預設閾值，則確定所述目標詞語為初始網絡新詞。

3.根據權利要求1或2所述的方法，其特征在于，還包括：

根據預設標簽規則對所述目標詞語中每個字匹配標簽；

對每個字以及對應的標簽進行特征轉換，獲得對應的字特征和標簽特征；

根據預設劃分規則對所述目標詞語中的字進行劃分，獲得劃分詞語；

根據所述字特征、標簽特征以及預設的概率公式獲得每個劃分詞語的概率值，將最大概率值對應的劃分詞語確定為網絡新詞。

4.根據權利要求1或2所述的方法，其特征在于，所述判定公式包括：

其中，W(x_i,y_j)為分詞語x_i和分詞語y_j共同出現的概率，p(x_i,y_j)為分詞語x_i和分詞語y_j共同出現的次數，p(x_i)為分詞語x_i出現的次數，p(y_j)為分詞語y_j出現的次數。

5.根據權利要求3所述的方法，其特征在于，所述概率公式包括：

其中，p為劃分詞語的概率值，x_i為目標詞語中第i個字對應的字特征，y_i為目標詞語中第i個字對應標簽的標簽特征，i為目標詞語中的個數，k為劃分詞語的個數，l為目標詞語中第i個字在所有劃分詞語中所處位置類型的個數，λ_k、μ_l為對應的權值，θ為范圍系數。

6.一種適用于網絡新詞的分詞處理裝置，其特征在于，包括：

分詞模塊，用于對目標文段進行分詞處理，獲得多個分詞語；

統計模塊，用于選取在所述目標文段中相鄰的分詞語作為目標詞語，統計所述目標詞語出現的次數，以及統計所述相鄰的分詞語各自出現的次數；

第一判定模塊，用于根據所述目標詞語的次數、所述相鄰的分詞語各自出現的次數和預設的判定公式確定所述目標詞語是否為初始網絡新詞。

7.根據權利要求6所述的裝置，其特征在于，所述第一判定模塊具體用于：根據所述目標詞語的次數、所述相鄰的分詞語各自出現的次數和預設的判定公式獲得所述目標詞語對應的判定值；若判定值小于預設閾值，則確定所述目標詞語為初始網絡新詞。

8.根據權利要求6或7所述的裝置，其特征在于，還包括：

匹配模塊，用于根據預設標簽規則對所述目標詞語中每個字匹配標簽；

轉換模塊，用于對每個字以及對應的標簽進行特征轉換，獲得對應的字特征和標簽特征；

劃分模塊，用于根據預設劃分規則對所述目標詞語中的字進行劃分，獲得劃分詞語；

第二判定模塊，用于根據所述字特征、標簽特征以及預設的概率公式獲得每個劃分詞語的概率值，將最大概率值對應的劃分詞語確定為網絡新詞。