[發明專利]一種遞歸多層次中文分詞方法有效
| 申請號: | 201210249911.9 | 申請日: | 2012-07-18 |
| 公開(公告)號: | CN102799676A | 公開(公告)日: | 2012-11-28 |
| 發明(設計)人: | 呂強;陶導;方強 | 申請(專利權)人: | 上海語天信息技術有限公司;上海萊希信息科技有限公司 |
| 主分類號: | G06F17/30 | 分類號: | G06F17/30 |
| 代理公司: | 上海旭誠知識產權代理有限公司 31220 | 代理人: | 鄭立 |
| 地址: | 201204 上海市浦東新區*** | 國省代碼: | 上海;31 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 一種 遞歸 多層次 中文 分詞 方法 | ||
1.一種遞歸多層次中文分詞方法,其特征在于,包括如下步驟:
步驟1,利用當前字典樹對輸入的中文文本使用最大匹配算法進行中文分詞,生成當前分詞和當前分詞層次;
步驟2,在當前字典樹中對步驟1中所生成的分詞進行選擇性屏蔽;
步驟3,將步驟2中選擇性屏蔽后的字典樹作為當前字典樹;
步驟4,判斷上述步驟1中所生成的各個中文分詞在所述當前字典樹中是否存在非單字前綴詞,若有一個分詞存在非單字前綴詞,則繼續進行上述步驟1到步驟3,若各個分詞都不存在非單字前綴詞,則進入步驟5;
步驟5,在當前字典樹中將上述各步驟中屏蔽的中文分詞重新插入當前字典樹,并輸出分詞結果。
2.如權利要求1所述的遞歸多層次中文分詞方法,其中,步驟2中所述的選擇性屏蔽具體為:對于每個分詞,判斷在當前字典樹中是否存在該分詞的非單字前綴詞,若存在該分詞的非單字前綴詞,則在當前字典樹中屏蔽該分詞,并記錄被屏蔽的分詞,若不存在該分詞的非單字前綴詞,則不屏蔽該分詞。
3.如權利要求2所述的遞歸多層次中文分詞方法,其中,步驟1還包括記錄生成的當前分詞及當前分詞層次。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于上海語天信息技術有限公司;上海萊希信息科技有限公司,未經上海語天信息技術有限公司;上海萊希信息科技有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/201210249911.9/1.html,轉載請聲明來源鉆瓜專利網。
- 上一篇:從空氣中制取低純度氧氣的深冷法分離方法及其裝置
- 下一篇:LED標識燈





