[發(fā)明專利]一種基于拼音全文檢索的方法

有效

• 申請?zhí)枺?/td>: 201310018105.5
• 申請日: 2013-01-18
• 公開（公告）號(hào): CN103116607A
• 公開（公告）日: 2013-05-22
• 發(fā)明（設(shè)計(jì)）人: 鞏微;銀國輝;梁小文
• 申請（專利權(quán)）人: 中國傳媒大學(xué)
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術(shù)領(lǐng)域

本發(fā)明涉及基于拼音的全文檢索技術(shù)。?

背景技術(shù)

當(dāng)前的全文檢索首先是對(duì)文檔進(jìn)行中文切詞，然后根據(jù)分詞建立索引。這種全文檢索模式主要是依賴于中文分詞方式，分詞的效率和準(zhǔn)確度直接影響到全文檢索性能指標(biāo)的高低。詞語的分析和處理是中文信息處理的首要因素，而句子的基本單位是詞語，對(duì)句子的處理首先要把句子劃分為多個(gè)詞語，漢語的構(gòu)詞方法不同于外語。因?yàn)橛⒄Z、德語、法語等外語之間的詞語連接有空格作為分隔符，漢語中詞和詞、字和字之間沒有任何分隔符，因此在處理句子時(shí)需要判斷如何分割句子為詞組，同一個(gè)漢字可以和前一個(gè)漢字構(gòu)成詞，也可以和后一個(gè)漢字構(gòu)成詞語，給分詞帶來困難。任何一門語言的基本詞語都不是一成不變的，對(duì)于外語而言，他們的詞本身帶有各種標(biāo)識(shí)，對(duì)增加的新詞容易區(qū)分和識(shí)別，中國文字自身的特點(diǎn)很難做到這一點(diǎn)。漢語的復(fù)雜性是其本身特點(diǎn)決定的，這使得通過計(jì)算機(jī)去從語義的角度分析很難實(shí)現(xiàn)。?

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題是提供一種新的基于拼音的全文檢索技術(shù)，避免了中文分詞，利用拼音進(jìn)行全文檢索，大大加快了系統(tǒng)的檢索速度，提高了用戶體驗(yàn)度。?

一、基于拼音的單文檔檢索的過程：?

<1>用戶輸入?

接收用戶輸入的關(guān)鍵詞、句子、段落等檢索內(nèi)容。如“中國傳媒大學(xué)”、“中國傳媒大學(xué)學(xué)術(shù)教育”等。?

<2>對(duì)用戶輸入的預(yù)處理?

預(yù)處理包括關(guān)鍵詞提取，漢字到拼音的轉(zhuǎn)換。?

a)關(guān)鍵詞提取?

這里主要涉及到關(guān)鍵詞、句子、段落的關(guān)鍵詞的提取。如果用戶輸入的是關(guān)鍵詞，則根據(jù)空格或分號(hào)等分隔符去提取。如果用戶輸入的是句子或段落，則按建立索引的規(guī)則進(jìn)行預(yù)處理。?

b)漢字到拼音的轉(zhuǎn)換?

把提取的關(guān)鍵詞存儲(chǔ)到檢索詞集合中，針對(duì)每個(gè)關(guān)鍵詞進(jìn)行漢字到拼音的轉(zhuǎn)換，因此最后建立了一個(gè)與關(guān)鍵詞檢索詞集合同樣維度的拼音檢索詞集合。?

<3>判定關(guān)鍵詞的存在?

根據(jù)拼音檢索詞集合依次查詢索引文件是否存在該關(guān)鍵詞，在查詢過程中如果遇到不存在，則退出整個(gè)查詢過程，則將這次查詢的結(jié)果判定為“不匹配”。也就說對(duì)集合中的每個(gè)關(guān)鍵詞的存在性取交集，如果有一個(gè)關(guān)鍵詞不存在則判定整個(gè)檢索結(jié)果為“不匹配”，否則標(biāo)記為“匹配”。?

確定關(guān)鍵詞是否匹配的檢索過程如下所示：?

a)將文檔的文件頭讀取到內(nèi)存中?

b)根據(jù)文件頭信息把索引文件的塊分別提取出來交給不同的“處理器”。?

c)“處理器”根據(jù)塊信息中的索引摘要和控制中心發(fā)送的關(guān)鍵詞拼音序列來匹配。如果拼音序列中的某個(gè)元素在索引摘要中不存在，則該“處理器”向控制中心返回“不匹配”的結(jié)果。否則，“處理器”開始根據(jù)拼音序列中依次提取摘要中對(duì)應(yīng)的詳細(xì)位置邏輯關(guān)系。最后與拼音序列的位置關(guān)系一一對(duì)應(yīng)。如果匹配成功，則向控制器返回匹配信息，否則返回匹配失敗。?

二、單文檔索引文件的結(jié)構(gòu)：?

基于漢語拼音的全文檢索方式需要由計(jì)算機(jī)為每個(gè)文檔自動(dòng)生成一個(gè)索引文件，這個(gè)文件的物理大小是小于等于原文文檔的物理大小。這個(gè)索引文件的作用是：?

(1)與原始文檔物理上彼此獨(dú)立、邏輯上關(guān)聯(lián)。原始文檔和索引文件相互獨(dú)立，可以存放在不同的存貯介質(zhì)上，但是彼此相互關(guān)聯(lián)，而且在面向搜索引擎上又具有統(tǒng)一性。?

(2)該索引文件是在不改變文檔重要信息的前提下，結(jié)合數(shù)據(jù)檢索算法定義的數(shù)據(jù)結(jié)構(gòu)。為了壓縮文件的大小，提高檢索的速度，文件采用二進(jìn)制存儲(chǔ)。?

索引文件由文件頭(塊總數(shù)、塊入口地址、塊長度)、文件體(拼音項(xiàng)摘要入口地址、拼音項(xiàng)摘要長度、拼音項(xiàng)對(duì)應(yīng)物理長度列表)構(gòu)成。?

本發(fā)明的有益效果是：相對(duì)現(xiàn)有的中文全文檢索方法，本發(fā)明提出的基于拼音的全文檢索技術(shù)，避免漢語詞匯的分割方式，利用自然語言本身的“邏輯性”來判定字與字之間的關(guān)聯(lián)性和語義合法性。同時(shí)，漢語拼音的索引支持排序，利于二分查找、快速查找算法的施展方便元素的快速定位進(jìn)而大大加快了系統(tǒng)的檢索速度，提高了用戶體驗(yàn)度。基于漢語拼音的索引還利用了拼音的聲調(diào)法則，通過過濾聲調(diào)壓縮索引空間，降低系統(tǒng)的復(fù)雜性，間接提升系統(tǒng)的執(zhí)行效率。?

附圖說明

圖1漢字轉(zhuǎn)拼音的邏輯框圖。?

圖2索引文件結(jié)構(gòu)。?

圖3“塊信息”的處理?

具體實(shí)施方式