[發明專利]漢語文本全分詞的一種遞歸方法

無效

• 申請號: 200910177166.X
• 申請日: 2009-09-28
• 公開（公告）號: CN101655841A
• 公開（公告）日: 2010-02-24
• 發明（設計）人: 章森
• 申請（專利權）人: 章森
• 主分類號: G06F17/28
• 分類號: G06F17/28
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.本發明涉及一種漢語文本的全切分技術，用來實現對漢語文本的全切分，主要特征包括： 漢語文本的全切分方法、全切分的剪枝、基于全切分的歧義消除方法。

2.根據權利要求1，漢語文本的全切分方法的技術特征是：基于遞歸技術，逐步將長度為N 的漢字字符串的全切分問題轉化為長度更短的漢字字符串的全切分問題，直到轉化為長 度為1的漢字字符串的全切分問題，然后再通過組合和添加兩種方式實現長度為N的漢 字字符串的全切分。

3.根據權利要求1，全切分剪枝的技術特征是：基于詞典以及子串S_i的全切分形式，考察 其中的每一種切分形式。如果在子串S_i的某一種切分形式S_i^*中存在某個切分單元Y_j既不 屬于詞典，也不是詞典中某個詞條的前綴，那么，刪除子串S_i的切分形式S_i^*，在構造子 串S_i+1的全切分時，S_i的切分形式S_i^*不再被擴展。

4.根據權利要求1，基于全切分的歧義消除方法的技術特征是：首先對該子串進行全切分， 得到其所有全切分形式，然后，基于本文介紹的剪枝方法對全切分結果進行剪枝，得到 精簡后的全切分結果。最后，利用詞頻的統計知識從精簡后的全切分結果中選出概率最 大的切分形式?？紤]到漢語分詞中的最少分詞原則，在選擇概率最大的切分形式時應該 對分詞數目較少的切分形式賦予較大的權重，反之，則賦予較小的權重。經過多次實驗 發現，將詞頻縮小1000倍左右，再利用馬爾可夫鏈計算每個分詞形式的概率，可以得到 滿意的結果。