[發明專利]一種基于機器學習的分詞方法及終端設備

在審

• 申請號: 201811181894.3
• 申請日: 2018-10-11
• 公開（公告）號: CN109492217A
• 公開（公告）日: 2019-03-19
• 發明（設計）人: 吳壯偉
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 深圳中一專利商標事務所 44237
• 代理人: 官建紅

1.一種基于機器學習的分詞方法，其特征在于，該方法包括：

獲取經過人工分詞的文本數據；

針對所述文本數據中的任一字符，判斷所述字符的類型，其中，所述字符的類型為標點符號、阿拉伯數字、中文數字或字母中的一種，或，所述字符的類型為所述字符單獨構成一個中文詞語、所述字符位于一個中文詞語的詞首位置、所述字符位于一個中文詞語的中間位置或所述字符位于一個中文詞語的詞尾位置中的一種；

根據所述字符的類型、在所述文本數據中與所述字符相鄰且位于所述字符前面的第一預設數目的字符的類型、在所述文本數據中與所述字符相鄰且位于所述字符后面的第二預設數目的字符的類型，獲取所述字符的特征向量，得到訓練集；

構建分詞模型，通過所述訓練集對所述分詞模型進行訓練；

根據完成訓練的分詞模型，將待處理文本進行分詞處理。

2.根據權利要求1所述的分詞方法，其特征在于，判斷所述字符的類型包括：

針對所述文本數據中任一字符，判斷所述字符是否屬于標點符號、阿拉伯數字、中文數字或字母中的一種；

若所述字符不屬于標點符號、阿拉伯數字、中文數字或字母中的一種，則判斷所述字符的位置類型，所述字符的位置類型包括所述字符單獨構成一個中文詞語、所述字符位于一個中文詞語的詞首位置、所述字符位于一個中文詞語的中間位置或所述字符位于一個中文詞語的詞尾位置中的一種。

3.根據權利要求2所述的分詞方法，其特征在于，所述判斷所述字符的位置類型包括：

統計在在所述文本數據中所述字符單獨構成一個中文詞語的次數、所述字符位于一個中文詞語的詞首位置的次數、所述字符位于一個中文詞語的中間位置的次數、所述字符位于一個中文詞語的詞尾位置的次數以及所述字符出現的總次數；

依次計算所述字符單獨構成一個中文詞語的次數與所述字符出現的總次數的比值、所述字符位于一個中文詞語的詞首位置的次數與所述字符出現的總次數的比值、所述字符位于一個中文詞語的中間位置的次數與所述字符出現的總次數的比值和所述字符位于一個中文詞語的詞尾位置的次數與所述字符出現的總次數的比值；

若計算結果中存在大于預設比值的值，則確定與所述字符出現的總次數的比值大于預設比值的字符的類型為所述字符的位置類型，其中，所述預設比值大于等于50％；

若計算結果中不存在大于預設比值的值，則根據基于概率圖模型的條件隨機場算法估計所述字符的位置類型。

4.根據權利要求3所述的分詞方法，其特征在于，所述字符為c₀，所述獲取所述字符的特征向量包括：

獲取所述字符的n-gram特征，所述字符的n-gram特征包括字符c_i的類型，雙字符c_ic_i+1中每個字符的類型，雙字符c_ic_i+2中每個字符的類型，其中，當i為正整數時，c_i為位于所述字符c₀后面的第i個字符，當i為負整數時，c_i為位于所述字符c₀前面的第i個字符，當i為0時，c_i為所述字符c₀；

獲取所述字符的重復信息特征，所述字符的重復信息特征用于表示所述字符c₀與字符c_j是否是兩個完全相同的字符，其中，j為負整數，c_j為位于所述字符c₀前面的第j個字符；

獲取位于所述字符前面的至少一個字符的類型；

根據所述字符的n-gram特征、重復信息特征和位于所述字符前面的至少一個字符的類型，得到所述字符的特征向量。