[發明專利]一種文本分詞方法及裝置

有效

• 申請號: 201910094380.2
• 申請日: 2019-01-30
• 公開（公告）號: CN109829162B
• 公開（公告）日: 2022-04-08
• 發明（設計）人: 王李鵬
• 申請（專利權）人: 新華三大數據技術有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F16/33;G06K9/62
• 代理公司: 北京超凡志成知識產權代理事務所(普通合伙) 11371
• 代理人: 王文紅

1.一種文本分詞方法，其特征在于，包括：

將待分詞文本轉換為字符序列；

將所述字符序列中包含的滿足預設長度的字符串與預先構建的詞典中的標準詞進行匹配，確定與所述標準詞匹配的匹配字符串，為所述字符序列中所述匹配字符串的每個字符和除所述匹配字符串之外的每個字符分別分配對應的詞典標簽，得到詞典標簽序列；

確定所述字符序列中每個字符對應的至少一種分詞標簽，得到多種分詞標簽序列；

根據所述字符序列、所述詞典標簽序列以及預先訓練的條件概率預測模型，確定所述字符序列被標記為每種分詞標簽序列的條件概率；

將符合預設條件的條件概率對應的分詞標簽序列確定為目標分詞標簽序列，并基于所述目標分詞標簽序列對所述待分詞文本進行分詞處理。

2.如權利要求1所述的方法，其特征在于，所述根據所述字符序列、所述詞典標簽序列以及預先訓練的條件概率預測模型，確定所述字符序列被標記為每種分詞標簽序列的條件概率，包括：

根據所述字符序列和/或所述詞典標簽序列，確定多個特征模板；

根據確定的多個特征模板，生成至少一個狀態函數和至少一個轉移函數；

確定在所述字符序列被標記為每種分詞標簽序列的情況下各個狀態函數的取值和各個轉移函數的取值；

將每種分詞標簽序列對應的各個狀態函數的取值和各個轉移函數的取值輸入至預先訓練的條件概率預測模型中，分別計算所述字符序列被標記為每種分詞標簽序列的條件概率。

3.如權利要求2所述的方法，其特征在于，所述特征模板包括以下模板中的至少一種：

用于表示所述字符序列中單個字符的字符特征模板；

用于表示所述字符序列中不同字符的關聯關系的字符特征模板；

用于表示所述詞典標簽序列中單個詞典標簽的詞典特征模板；

用于表示所述詞典標簽序列中不同詞典標簽之間的關聯關系的詞典特征模板；

由所述字符特征模板和所述詞典特征模板組成的復合特征模板。

4.如權利要求3所述的方法，其特征在于，所述字符序列包含p個字符，所述詞典標簽序列包含p個詞典標簽，所述分詞標簽序列包含p個分詞標簽；

若所述特征模板包括所述字符特征模板，則根據所述字符特征模板，生成的狀態函數s(y,x,i,j)為：

若所述特征模板包括所述詞典特征模板，則根據所述詞典特征模板，生成的狀態函數s(y,x,i,j)為：

若所述特征模板包括所述復合特征模板，則根據所述復合特征模板，生成的狀態函數s(y,x,i,j)為：

其中，x表示由所述字符序列和所述詞典標簽序列組成的二維序列；y表示所述分詞標簽序列；j＝0時，x表示所述二維序列中的所述字符序列；j＝1時，x表示所述二維序列中的所述詞典標簽序列；i取1至p中任意整數；x_i±d,j＝0表示所述字符序列的第i±d個位置的字符，x_i±d,j＝1表示所述詞典標簽序列的第i±d個位置的詞典標簽，d取0至p-i中的任意正整數；y_i表示所述分詞標簽序列y的第i個分詞標簽；n₁表示所述分詞標簽序列y的第i個分詞標簽，m表示所述字符序列中第i±d個位置的字符，h表示所述詞典標簽序列中第i±d個位置的詞典標簽。