[發明專利]一種分布式全文檢索系統

有效

• 申請號: 201210362934.0
• 申請日: 2012-09-25
• 公開（公告）號: CN102831253A
• 公開（公告）日: 2012-12-19
• 發明（設計）人: 何蕾;李勇;曹宇;喻宏元;蘇迤;龐傳軍;聶春元;楊笑宇;徐家慧;武毅;林海峰;方偉
• 申請（專利權）人: 北京科東電力控制系統有限責任公司;華中電網有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京金智普華知識產權代理有限公司 11401
• 代理人: 皋吉甫

?

技術領域

????本發明屬于數據處理領域，特別是涉及一種分布式全文檢索系統的。

?

背景技術

文檔檢索系統主要實現對調度管理應用中的各類文檔、資料和知識庫的索引提取及資料搜索功能。

a)?編制索引：對doc、txt、pdf等常用文檔文件的文字信息進行文字索引提取。

b)?資料搜索：根據文字索引模糊搜索定位文檔、資料。

分布式查詢主要實現調度機構之間、調度管理類應用中各模塊標準化的數據庫信息分布式查詢。基于平臺的遠程服務代理和數據公共服務實現遠程數據查詢。分布式查詢應包含但不限于以下功能：

c)?跨調度機構的數據查詢；

d)?按照數據分類進行查詢；

e)?數據展示功能。

由于電力行業相關文件，電子信息材料，新聞應用比較多，很多系統都有自己的管理文檔的功能，但是面對大量的信息資源，很難定位想要找的文件在那個系統中，存儲在哪個服務器上，如何方便快捷、準確地從各個分布式的服務器上上獲取所需文件信息，成為至關重要的問題。現有技術中的文檔檢索系統存在著檢索速度慢、占用系統資源過多等的缺陷。

?

發明內容

本發明的目的，是提供一種分布式全文檢索系統，從而實現提升檢索速度，達到優化目的。

本發明的具體技術方案如下:?1、一種分布式全文檢索系統，所述系統由設置在各網絡節點上的全文檢索服務器組成，包括分布式節點服務器及系統中心服務器；

所述分布式節點服務器包括文件信息檢索模塊及服務器間通訊模塊；

所述文件信息檢索模塊對本節點服務器上文件定時進行全文信息的檢索，按照定義好的詞庫進行切詞，提取關鍵詞信息并建立索引文件；

所述服務器間通訊模塊實現分布式節點服務器與系統中心服務器與之間的信息交換，將本節點的索引文件發送到系統中心服務器；

所述系統中心服務器對各節點服務器傳送的索引文件進行合并，生成新的索引文件并更新已有索引信息，增加新的文件信息；向用戶提供查詢接口，響應用戶查詢文件的請求、分析用戶請求，將查詢關鍵詞在新的索引文件中進行檢索比對，將符合的文件作為查詢結果展示給用戶。

進一步的，所述分布式節點服務器上生成的索引文件包括文件名稱、關鍵詞條、文件分類、所在服務器的IP地址、服務器信息、文件大小、文件作者等相關信息。

進一步的，所述系統中心服務器進一步包括：各個分布式節點服務器狀態查詢模塊及系統重啟服務模塊；并具有文件在線瀏覽與下載模塊，即系統中心服務器接收下載文件請求，并根據該文件在索引文件中的描述，將請求轉發給相應的節點服務器，將讀取文件的字節流返給用戶實現下載。

進一步的，所述分布式節點服務器還包括：詞庫管理模塊，所述詞庫管理模塊在遍歷文件全文內容時根據已有詞庫進行切詞劃分，將文件內容切成不同的關鍵詞，然后統計關鍵詞出現的頻度和關鍵詞的分類，一同寫入到索引文件中。

進一步的，所述詞庫管理模塊按照電網相關技術知識進行統計劃分，包括電網文件類、技術論文類、電網設備類、新聞類等；對普通的助詞、語氣詞或普通描述性的詞進行過濾。

進一步的，所述分布式節點服務器上安裝詞庫管理客戶端，所述客戶端對在文件中出現頻度較高的詞，通過用戶手動維護的關鍵詞等添加到索引文件中更新詞庫。

?

本發明的有益效果是：

（1）在查詢效率上,由于使用了依據電力行業知識的詞庫管理，在生成索引文件時就會過濾一些不明感的、不關心詞匯，減小生成的索引文件，提高檢索速度。

（2）提供了各節點管理的界面，可以維護各節點相關文件配置，索引生成、詞庫管理以及與服務器通信等功能，加強了分布式系統的穩定性。

（3）索引文件格式獨立于應用平臺，定義了一套以8位字節為基礎的索引文件格式，使得兼容系統或者不同平臺的應用能夠共享建立的索引文件。

（4）在傳統全文檢索引擎的倒排索引的基礎上，實現了分塊索引，能夠針對新的文件建立小文件索引，提升索引速度。然后通過與原有索引的合并，達到優化的目的。

（5）實現了一套強大的查詢引擎，默認實現了布爾操作、模糊查詢、分組查詢等等。

?

附圖說明

圖1是本發明的系統結構框圖。

?

具體實施方式

下面具體闡述本發明的技術方案。