[發明專利]全文檢索方法和全文檢索裝置

在審

• 申請號: 201710421974.0
• 申請日: 2017-06-07
• 公開（公告）號: CN109002444A
• 公開（公告）日: 2018-12-14
• 發明（設計）人: 師光強;張丹;于曉明;王卿
• 申請（專利權）人: 北大方正集團有限公司;北京北大方正電子有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京友聯知識產權代理事務所(普通合伙) 11343
• 代理人: 尚志峰;汪海屏

本發明提供了一種全文檢索方法和全文檢索裝置，其中，全文檢索方法包括：在將存儲域的數據導入至各個內存的內存數據庫時，生成每個內存數據庫對應的一個索引庫；將每個內存數據庫中導入數據的存儲域寫入對應的索引庫，其中，索引庫中存儲有數據的索引。通過本發明技術方案，在全文檢索時，緩解了系統的內存壓力，節省了系統資源，提高了索引更新速度，降低了程序設計的復雜度，增強了系統的可擴展性。

技術領域

本發明涉及全文檢索技術領域，具體而言，涉及一種全文檢索方法和一種全文檢索裝置。

背景技術

相關技術中，信息數據中海量的非機構化數據進行處理時，需要使用全文檢索技術，該技術首先對非結構化數據進行處理，使其變得有一定結構并對其保存，搜索過程類似字典查字過程，針對關鍵詞進行查找。全文檢索支持的常用功能有單庫檢索、多庫檢索、統計檢索、排序檢索、消重檢索、精確檢索等。全文檢索系統的按域統計和按域排序功能，依賴文檔對應域的域值信息，為了保證速度，避免頻繁的讀取磁盤文件，全文檢索系統通常將過程中使用到的數據預加載至系統內存中，若要對多個域支持按域統計或排序，需要將每一個域的數據均預加載至全文檢索系統內存中，上述技術方案存在以下弊端：

(1)隨著支持的域的個數的增加，全文檢索的內存消耗不斷上漲，增加系統壓力。

(2)對于有更新需求的域，由于全文檢索基于倒排索引的檢索結構，需標記舊數據并刪除，然后為待更新數據新建索引，進而導致更新速度慢；每一次更新往往只涉及數據當中的有限部分，并不需要重建索引，系統資源浪費嚴重；索引更新過程需要復雜的線程同步策略，使得程序設計復雜化。

(3)需要增加或刪除對特定域的按域統計或排序支持時，必須刪除所有索引重建，浪費系統資源，系統可擴展性差。

發明內容

本發明正是基于上述技術問題至少之一，提出了一種新的全文檢索技術方案，在將存儲域的數據導入至各個內存的內存數據庫時，通過生成每個內存數據庫對應的一個索引庫，同時將存儲域寫入對應的索引庫，在全文檢索過程中，緩解了系統的內存壓力，節省了系統資源，提高了索引更新速度，降低了程序設計的復雜度，增強了系統的可擴展性。

有鑒于此，本發明提出了一種全文檢索方法，包括：在將存儲域的數據導入至各個內存的內存數據庫時，每個內存數據庫對應的一個索引庫；將每個內存數據庫中導入數據的存儲域寫入對應的索引庫，其中，索引庫中存儲有數據的索引。

在該技術方案中，在將存儲域的數據導入至各個內存的內存數據庫時，通過生成每個內存數據庫對應的一個索引庫，同時將存儲域寫入對應的索引庫，在全文檢索過程中：當需要增加或刪除特定存儲域的數據時，僅在內存數據庫中進行操作，不再需要反復的索引重建，增強了全文檢索系統的可擴展性；當存儲域的數據需要更新時，節省了全文檢索系統的系統資源且降低了程序設計的復雜程度；當執行按域統計和排序檢索時，通過調用內存數據庫接口獲取指定文檔特定存儲域的數據，實現全文檢索系統的按域統計和排序功能。

其中，索引庫中存儲有數據的索引，并且索引與存儲域的數據具有一一對應關系，存儲域的數據更新的實現一般由刪除和增加操作聯合完成，存儲域的數據導入過程中，暫停執行涉及到使用內存數據庫中存儲域的數據的檢索請求。

在上述技術方案中，優選地，在將存儲域的數據導入至內存數據庫時，對已導入數據執行上載操作，以獲取對應的文檔文件；對文檔文件創建索引，并解析文檔文件的標識信息；判斷文檔文件的標識信息是否與索引庫中的任一預存標識信息匹配；在判定文檔文件的標識信息不與索引庫中的任一預存標識信息匹配時，將文檔文件的標識信息寫入對應的索引庫。