[發(fā)明專利]識(shí)別同義詞的方法、裝置及利用其進(jìn)行搜索的方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 200910137633.6
• 申請(qǐng)日: 2009-04-27
• 公開(kāi)（公告）號(hào): CN101872351A
• 公開(kāi)（公告）日: 2010-10-27
• 發(fā)明（設(shè)計(jì)）人: 董靜;邢飛;郭寧;侯磊;張勤
• 申請(qǐng)（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 馬敬;逯長(zhǎng)明

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)數(shù)據(jù)處理技術(shù)領(lǐng)域，特別涉及一種識(shí)別中文同義詞的方法和裝置及利用其進(jìn)行搜索的方法和裝置。

背景技術(shù)

現(xiàn)有的搜索一般是基于關(guān)鍵詞的搜索，即用戶輸入關(guān)鍵詞讓搜索引擎進(jìn)行查詢，搜索引擎返回包含有這些關(guān)鍵詞的結(jié)果網(wǎng)頁(yè)。比如用戶輸入“數(shù)碼照相機(jī)”，現(xiàn)有的中文搜索引擎會(huì)對(duì)輸入的關(guān)鍵詞先進(jìn)行分詞，通常將“數(shù)碼照相機(jī)”分詞為“數(shù)碼照相機(jī)”兩個(gè)詞條，之后返回的結(jié)果網(wǎng)頁(yè)中包含有“數(shù)碼”和“照相機(jī)”兩個(gè)詞條。

而實(shí)際上，不同的用戶背景不同，習(xí)慣不同，很有可能他們意圖相似而壓縮表達(dá)出來(lái)的用于查詢的關(guān)鍵詞卻不一樣。比如，查詢“數(shù)碼照相機(jī)”和“數(shù)碼相機(jī)”的用戶潛在意圖是完全一致的，而對(duì)于“數(shù)碼照相機(jī)”，現(xiàn)有的搜索引擎返回的結(jié)果網(wǎng)頁(yè)中包含有“數(shù)碼”和“照相機(jī)”兩個(gè)詞條，而有一些很有價(jià)值的結(jié)果網(wǎng)頁(yè)，因?yàn)榘小皵?shù)碼”和“相機(jī)”兩個(gè)詞卻沒(méi)有被返回或者由于其他技術(shù)因素返回卻沒(méi)有排在很靠前的位置。如果搜索引擎能發(fā)現(xiàn)這對(duì)詞是組同義詞，同時(shí)合并返回兩個(gè)詞組的結(jié)果網(wǎng)頁(yè)，那么對(duì)于提高搜索的準(zhǔn)確度，以及用戶搜索體驗(yàn)是非常有效的。

同義詞是自然語(yǔ)言中的一個(gè)獨(dú)特現(xiàn)象，同義詞挖掘在自然語(yǔ)言處理中也是一個(gè)非常有意義的工作，它的實(shí)現(xiàn)對(duì)于搜索查詢重寫，豐富搜索結(jié)果以使得用戶得到很好的查詢體驗(yàn)有很大的幫助。但是，搜索應(yīng)用中所涉及的同義詞替換必須把握的恰如其分，并不是使用任何一個(gè)近義詞表就可以解決的。因?yàn)橛脩粢呀?jīng)習(xí)慣于關(guān)鍵詞搜索，習(xí)慣于輸入查詢后，和查詢相同的字、詞在結(jié)果條目中標(biāo)紅；那么即使是完全同義的不同字、詞替換，也不是每個(gè)用戶都能接受的。例如：“土豆”和“馬鈴薯”是完全同義，但用戶輸入“土豆”，而“馬鈴薯”卻赫然出現(xiàn)在結(jié)果條目中被標(biāo)紅，猛一看還以為搜索引擎出問(wèn)題了，如果不被標(biāo)紅又很容易被用戶的眼睛跳過(guò)。所以本文所涉及的同義詞是指應(yīng)該適合搜索應(yīng)用的同義詞。

目前存在的漢語(yǔ)同義詞自動(dòng)識(shí)別方法是，將每個(gè)詞表示成一個(gè)網(wǎng)頁(yè)，詞典中對(duì)該詞解釋的其他詞和這個(gè)詞形成一種鏈接關(guān)系，給每個(gè)詞賦予一個(gè)分值，這個(gè)分值就代表了詞之間的相似度，也就是說(shuō)，把詞匯之間解釋與被解釋的關(guān)系看成是一種超鏈接，把頁(yè)面等級(jí)(PageRank)值看成是體現(xiàn)詞匯之間語(yǔ)義相似性的衡量指標(biāo)，然后根據(jù)語(yǔ)義相似度的大小識(shí)別同義詞。這種方法主要是通過(guò)PageRank值作為衡量同義詞的指標(biāo)，而PageRank值的確定是依賴于其所能獲得的資源的，而這種資源又有很大的隨意性難以控制，例如，對(duì)“土豆”的解釋，如果所用的資源著重解釋土豆的植物特性，外形特征等，那么很有可能“土豆”會(huì)和“根莖”，“橢圓”等詞建立近義詞關(guān)系。因而這種體現(xiàn)鏈接關(guān)系的PageRank值是非常不可靠的，并且這種不可靠信息很難自動(dòng)檢測(cè)，從而導(dǎo)致不能準(zhǔn)確識(shí)別所需的同義詞，使得識(shí)別的效果很難得到保證。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例一方面在于提供一種識(shí)別中文同義詞的方法和裝置，以解決中文同義詞識(shí)別效果不能得到保證的問(wèn)題。

本申請(qǐng)實(shí)施例另一方面在于提供一種搜索方法及裝置，以豐富搜索結(jié)果信息。

本申請(qǐng)實(shí)施例提供了一種識(shí)別中文同義詞的方法，包括：

a、計(jì)算服務(wù)器獲得需要識(shí)別的任意兩個(gè)中文詞；

b、確定所述兩個(gè)中文詞之間的最小編輯距離小于等于編輯距離閾值后，執(zhí)行步驟c；

c、判斷所述需要識(shí)別的兩個(gè)中文詞是否都存在于預(yù)設(shè)的知識(shí)庫(kù)中，若是，則在所述知識(shí)庫(kù)中分別查找每個(gè)中文詞的權(quán)重最大的最小粒度類型；

d、若查詢到的每個(gè)中文詞的權(quán)重最大的最小粒度類型相等，則判定所述兩個(gè)中文詞為同義詞，否則判定所述兩個(gè)中文詞為非同義詞。

其中，若需要識(shí)別的兩個(gè)中文詞是否不都存在于預(yù)設(shè)的知識(shí)庫(kù)中，則進(jìn)一步包括：

e、計(jì)算服務(wù)器對(duì)不能查到的中文詞進(jìn)行分詞，再判斷所述分詞后的中文詞是否都存在于所述知識(shí)庫(kù)中，若是，則再在所述知識(shí)庫(kù)中分別查找每個(gè)中文詞的權(quán)重最大的最小粒度類型，并繼續(xù)后續(xù)步驟e。

其中，當(dāng)判斷出每個(gè)中文詞的權(quán)重最大的最小粒度類型相等后，進(jìn)一步包括：

計(jì)算服務(wù)器判斷兩個(gè)中文詞中有變化的字或詞是否屬于已設(shè)置的普義字表中可以改變的字，若是，再判定所述需要識(shí)別的兩個(gè)中文詞為同義詞，否則判定所述兩個(gè)中文詞為非同義詞。

其中，所述知識(shí)庫(kù)包括：詞條和概念，每個(gè)詞條或概念至少對(duì)應(yīng)一個(gè)類型，且每個(gè)詞條或概念對(duì)應(yīng)的每個(gè)類型具有權(quán)重值。

其中，所述在所述知識(shí)庫(kù)中分別查找每個(gè)中文詞的權(quán)重最大的最小粒度類型包括：