[發明專利]語言文本的分詞方法和系統

有效

• 申請號: 201610225943.3
• 申請日: 2016-04-12
• 公開（公告）號: CN107291684B
• 公開（公告）日: 2021-02-09
• 發明（設計）人: 陳曉;李航
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06K9/62
• 代理公司: 北京龍雙利達知識產權代理有限公司 11329
• 代理人: 王君;張欣

1.一種語言文本的分詞方法，其特征在于，包括：

獲取待處理的第一語言文本和可信度閾值，所述可信度閾值用于指示所述第一語言文本所需的分詞精度、分詞速度或分詞一致性；

采用第一分詞方式，對所述第一語言文本進行分詞，得到第一詞邊界集合；

根據所述可信度閾值，將所述第一詞邊界集合劃分成可信的第二詞邊界集合和不可信的第三詞邊界集合；

根據所述第三詞邊界集合，從所述第一語言文本中選取第二語言文本，所述第二語言文本包括所述第三詞邊界集合中的每個詞邊界對應的詞；

采用第二分詞方式，對所述第二語言文本進行分詞，得到第四詞邊界集合，其中，所述第二分詞方式的分詞精度高于所述第一分詞方式的分詞精度；

將所述第二詞邊界集合和所述第四詞邊界集合確定為所述第一語言文本的分詞結果；

所述方法還包括：

調整所述可信度閾值的大小。

2.如權利要求1所述的方法，其特征在于，所述根據所述可信度閾值，將所述第一詞邊界集合劃分成可信的第二詞邊界集合和不可信的第三詞邊界集合，包括：

從所述第一詞邊界集合中的每個詞邊界的上下文中選取所述每個詞邊界對應的至少一個詞；

提取所述每個詞邊界對應的至少一個詞的特征；

根據所述每個詞邊界對應的至少一個詞的特征，通過預先訓練得到的分類器，確定所述每個詞邊界在所述上下文中的可信度；

將所述第一詞邊界集合中的可信度大于所述可信度閾值的詞邊界添加至所述第二詞邊界集合；

將所述第一詞邊界集合中的可信度小于或等于所述可信度閾值的詞邊界添加至所述第三詞邊界集合。

3.如權利要求2所述的方法，其特征在于，所述根據所述每個詞邊界對應的至少一個詞的特征，通過預先訓練得到的分類器，確定所述每個詞邊界在所述上下文中的可信度，包括：

根據確定所述每個詞邊界在所述上下文中的可信度，其中，P(True|B_i,c)表示所述第一詞邊界集合中的第i個詞邊界B_i在所述上下文c中的可信度，S(t,B_i,c)表示所述第i個詞邊界B_i在所述上下文c中的得分，f_j(t,B_i,c)表示所述至少一個詞的特征中的第j個特征，β_j表示所述分類器的參數，t表示所述分類器對應的類，且t∈{True,False}。

4.如權利要求2所述的方法，其特征在于，所述從所述第一詞邊界集合中的每個詞邊界的上下文中選取所述每個詞邊界對應的至少一個詞，包括：

從所述每個詞邊界的上下文中選取所述每個詞邊界對應的詞、所述每個詞邊界對應的詞的前一詞，以及所述每個詞邊界對應的詞的后一詞。

5.如權利要求2-4中任一項所述的方法，其特征在于，所述分類器的參數是基于目標語言文本訓練得到的參數，所述目標語言文本是采用第一分詞方式對詞邊界已知的語言文本進行分詞后得到的語言文本。

6.一種語言文本的分詞系統，其特征在于，包括：

輸入模塊，用于獲取待處理的第一語言文本和可信度閾值，所述可信度閾值用于指示所述第一語言文本所需的分詞精度、分詞速度或分詞一致性；

第一分詞模塊，用于采用第一分詞方式，對所述第一語言文本進行分詞，得到第一詞邊界集合；

可信度判斷模塊，用于根據所述可信度閾值，將所述第一詞邊界集合劃分成可信的第二詞邊界集合和不可信的第三詞邊界集合；

選取模塊，用于根據所述第三詞邊界集合，從所述第一語言文本中選取第二語言文本，所述第二語言文本包括所述第三詞邊界集合中的每個詞邊界對應的詞；

第二分詞模塊，用于采用第二分詞方式，對所述第二語言文本進行分詞，得到第四詞邊界集合，其中，所述第二分詞的分詞精度高于所述第一分詞的分詞精度；

輸出模塊，用于將所述第二詞邊界集合和所述第四詞邊界集合確定為所述第一語言文本的分詞結果；

所述輸入模塊還用于，調整所述可信度閾值的大小。