[發(fā)明專利]一種分詞處理方法及設(shè)備

有效

• 申請?zhí)枺?/td>: 200710076004.8
• 申請日: 2007-07-12
• 公開（公告）號: CN101114282A
• 公開（公告）日: 2008-01-30
• 發(fā)明（設(shè)計(jì)）人: 朱鵬喜
• 申請（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06F17/28
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種分詞處理方法，其特征在于，所述方法包括：

接收待分詞的語句；

切分所述語句并獲得所述語句的所有分詞方式；

分別計(jì)算所述的所有分詞方式中每種分詞方式的語句權(quán)值，比較每種分詞方式的語句權(quán)值，從所述的所有分詞方式中確定所述語句的分詞結(jié)果。

2.如權(quán)利要求1所述的方法，其特征在于，切分所述語句并獲得所述語句的所有分詞方式包括：

獲取所述語句的首字；

根據(jù)詞表確定所述語句中以所述首字為首的首詞；

切分獲得所述語句的截首詞句的所有分詞方式，根據(jù)所述首詞和所述截首詞句的所有分詞方式獲得所述語句的所有分詞方式。

3.如權(quán)利要求1所述的方法，其特征在于，所述計(jì)算每種分詞方式對應(yīng)的語句權(quán)值的方法是：

獲取給定分詞方式中各詞在分詞過程鏈表中的權(quán)值；

利用所述權(quán)值和所述分詞過程鏈表的權(quán)值因子進(jìn)行數(shù)學(xué)運(yùn)算獲得所述給定分詞方式的語句權(quán)值。

4.如權(quán)利要求3所述的方法，其特征在于，所述分詞過程鏈表根據(jù)詞庫初始化獲得，并通過語言模型進(jìn)行修改。

5.如權(quán)利要求3或4所述的方法，其特征在于，所述分詞過程鏈表包括如下之一或其組合：詞首鏈表或詞尾鏈表或異構(gòu)詞鏈表。

6.如權(quán)利要求1所述的方法，其特征在于，根據(jù)所述語句權(quán)值從所述分詞方式中確定所述語句的分詞結(jié)果的方法為：預(yù)先設(shè)置分詞結(jié)果選擇策略，比較所述每種分詞方式的語句權(quán)值，并通過所述分詞結(jié)果選擇策略確定分詞結(jié)果語句權(quán)值，根據(jù)所述分詞結(jié)果語句權(quán)值確定所述語句的分詞結(jié)果。

7.一種分詞處理設(shè)備，其特征在于，所述分詞處理設(shè)備包括：

接收單元：用于接收待分詞的語句；

切分單元：用于切分所述語句并獲得所述接收單元接收的語句的所有分詞方式；

結(jié)果確定單元：用于所述的所有分詞方式中每種分詞方式的語句權(quán)值，比較每種分詞方式的語句權(quán)值，從所述的所有分詞方式中確定所述語句的分詞結(jié)果。

8.如權(quán)利要求7所述的分詞處理設(shè)備，其特征在于，所述結(jié)果確定單元包括：

策略設(shè)置單元：用于預(yù)先設(shè)置分詞結(jié)果選擇策略；

選擇單元：用于比較所述每種分詞方式的語句權(quán)值，并通過所述分詞結(jié)果選擇策略確定分詞結(jié)果語句權(quán)值，根據(jù)所述分詞結(jié)果語句權(quán)值確定所述語句的分詞結(jié)果。

9.如權(quán)利要求7所述的分詞處理設(shè)備，其特征在于，所述分詞處理設(shè)備還包括：

初始化單元：用于根據(jù)詞庫初始化獲得分詞過程鏈表；

分詞訓(xùn)練單元：用于通過語言模型對所述分詞過程鏈表進(jìn)行修改。