[發(fā)明專利]基于旅游業(yè)特征詞庫的中文分詞方法

無效

• 申請?zhí)枺?/td>: 201010287533.4
• 申請日: 2010-09-20
• 公開（公告）號: CN102411568A
• 公開（公告）日: 2012-04-11
• 發(fā)明（設(shè)計(jì)）人: 吳志祥;張海龍;馬和平;王專;吳劍;郭鳳林;靳彩娟
• 申請（專利權(quán)）人: 蘇州同程旅游網(wǎng)絡(luò)科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 南京蘇科專利代理有限責(zé)任公司 32102
• 代理人: 陳忠輝

1.基于旅游業(yè)特征詞庫的中文分詞方法，其特征在于：建立初始旅游業(yè)特征詞庫，包括對行業(yè)內(nèi)已經(jīng)存在的旅游業(yè)特征詞語的收集整理，再根據(jù)以前網(wǎng)站的系統(tǒng)運(yùn)行日志，分析出一些旅游業(yè)特征詞語，將兩處收集到的旅游業(yè)特征詞語進(jìn)行合并，形成初始旅游業(yè)特征詞庫；通過索引服務(wù)器定期建立索引庫，為用戶提供查詢工作，將用戶查詢?nèi)罩緜鹘o日志服務(wù)器；對旅游業(yè)特征詞庫中的特征詞語進(jìn)行分詞，包括詞語首字哈希索引，既將旅游業(yè)特征詞庫中的詞語首字取出后去除重復(fù)，通過一次哈希運(yùn)算直接定位漢字的首字位置，配合以詞為單位的有序表，建立旅游業(yè)特征詞庫正文；通過首字哈希索引表和旅游業(yè)特征詞庫配合，實(shí)現(xiàn)指定詞在旅游業(yè)特征詞庫正文中的快速查找。

2.根據(jù)權(quán)利要求1所述的基于旅游業(yè)特征詞庫的中文分詞方法，其特征在于：所述的旅游業(yè)特征詞庫在每個(gè)周期制定時(shí)間，將已經(jīng)分析好的線上網(wǎng)站運(yùn)行日志進(jìn)行統(tǒng)計(jì)，將發(fā)現(xiàn)的新詞放入新詞庫，在新詞庫中停留一個(gè)月，之后將已經(jīng)確定的新詞庫中的詞轉(zhuǎn)入旅游業(yè)特征詞庫；對于新形成的熱點(diǎn)詞語，直接錄入旅游業(yè)特征詞庫。

3.根據(jù)權(quán)利要求1所述的基于旅游業(yè)特征詞庫的中文分詞方法，其特征在于：所述的索引服務(wù)器建立索引的過程為將用戶需要的信息從存儲(chǔ)介質(zhì)中取出，作為輸入源給中文分詞系統(tǒng)，根據(jù)分出來的詞存入索引庫。

4.根據(jù)權(quán)利要求1所述的基于旅游業(yè)特征詞庫的中文分詞方法，其特征在于：所述的首字哈希索引包括最大詞長，在旅游業(yè)特征詞庫中的開始、結(jié)束行號，開始位置指針，指向以漢字為首字的所有詞語在旅游業(yè)特征詞庫正文中的起始位置。

5.根據(jù)權(quán)利要求1所述的基于旅游業(yè)特征詞庫的中文分詞方法，其特征在于：所述的旅游業(yè)特征詞庫中的特征詞語進(jìn)行分詞時(shí)首先進(jìn)行初始最大詞長的選取，取出待分詞字串中的每個(gè)漢字，在分詞旅游業(yè)特征詞庫中查找以每個(gè)漢字為首字的詞的最大詞長，選出其中最大者與待分詞字串的長度進(jìn)行比較后，確定出最合適的初始最大詞長。

6.根據(jù)權(quán)利要求5所述的基于旅游業(yè)特征詞庫的中文分詞方法，其特征在于：所述的初始最大詞長的選取為，從待分詞字串的最后一個(gè)字n開始截取長度為i的字串，令它同旅游業(yè)特征詞庫中的詞語依次匹配；如果在旅游業(yè)特征詞庫中找不到一個(gè)詞語能同當(dāng)前字串匹配，就從第n-1個(gè)字開始截取長度為i的字串并重復(fù)以上過程；如果找不到，則依次從第n-2，n-3，...個(gè)字開始截取長度為i的字串進(jìn)行匹配；如果在某一次匹配中查到表中確有這樣一個(gè)i字詞，則匹配成功，把這個(gè)字串作為一個(gè)詞從待分詞字串中切分出去，把原句中位于這個(gè)字串左右兩邊的部分視為兩個(gè)新的句子，遞歸調(diào)用這一過程；如果所有的匹配都不成功，說明句子中沒有長度為i的詞，則開始尋找長度為i-1的詞；重復(fù)這個(gè)過程直到整個(gè)句子被切分；所述的n代表句子中的最后一個(gè)字，1＜＝i＜＝初始最大詞長。

7.根據(jù)權(quán)利要求1所述的基于旅游業(yè)特征詞庫的中文分詞方法，其特征在于：所述的索引服務(wù)器在接收用戶查詢之后，將用戶的查詢信息按照規(guī)定的格式記錄下來并傳給日志服務(wù)器；日志服務(wù)器在特定時(shí)間通過定時(shí)任務(wù)運(yùn)行來分析當(dāng)天的日志，將結(jié)果持續(xù)化保存到存儲(chǔ)介質(zhì)中。

8.根據(jù)權(quán)利要求1所述的基于旅游業(yè)特征詞庫的中文分詞方法，其特征在于：所述的比較分析服務(wù)器分析出新的旅游業(yè)特征詞語的過程為，取出特征詞語的首字，首先與停頓詞庫首字索引表進(jìn)行一次哈希運(yùn)算，得到此首字開始詞語在停頓詞庫正文中的起始和結(jié)束位置，從起始位置開始遍歷；如果找到對應(yīng)的詞，將其從新詞庫中剔除，如果沒有發(fā)現(xiàn)，直到詞語在停頓詞庫正文的結(jié)束位置點(diǎn)時(shí)停止循環(huán)，以此循環(huán)整個(gè)過程；接著，取出詞語的首字，首先與旅游業(yè)特征詞庫首字索引表進(jìn)行一次哈希運(yùn)算，得到以此首字開始詞語在旅游業(yè)特征詞庫正文中的起始和結(jié)束位置，從起始位置開始遍歷，如果找到對應(yīng)的詞，將其從新詞庫中剔除，如果沒有發(fā)現(xiàn)，直到詞語在旅游業(yè)特征詞庫正文的結(jié)束位置點(diǎn)時(shí)停止循環(huán)，以此循環(huán)整個(gè)過程；最后在停頓詞庫與旅游業(yè)特征詞庫對比結(jié)束之后，新詞庫中的所有詞語同步到線上新詞庫中，此時(shí)的新詞處在待觀察期，通過人工篩選和用戶反饋，過至少一個(gè)月之后把已經(jīng)形成的新詞加入到旅游業(yè)特征詞庫。

9.根據(jù)權(quán)利要求1所述的基于旅游業(yè)特征詞庫的中文分詞方法，其特征在于：所述的旅游業(yè)特征詞庫結(jié)構(gòu)為“詞語，相關(guān)詞語|相關(guān)詞語|……”詞語與相關(guān)詞語之間用逗號分開，相關(guān)詞語之間用豎線分開，當(dāng)切分的詞在旅游業(yè)特征詞庫中找到相對應(yīng)是詞之后，再查找是否有相關(guān)詞語，如果有相關(guān)詞語，將相關(guān)詞語作為一個(gè)詞返回。