[發明專利]一種內存檢索系統和方法、以及實時檢索系統和方法在審

申請號：	201210184642.2	申請日：	2012-06-06
公開（公告）號：	CN103473229A	公開（公告）日：	2013-12-25
發明（設計）人：	王長偉;汪偉;蔣宏偉	申請（專利權）人：	深圳市世紀光速信息技術有限公司
主分類號：	G06F17/30	分類號：	G06F17/30
代理公司：	北京派特恩知識產權代理事務所(普通合伙) 11270	代理人：	蔣雅潔;武晨燕
地址：	518057 廣東省深圳市***	國省代碼：	廣東;44
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	一種內存檢索系統方法以及實時
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【說明書】：

技術領域

本發明涉及數據處理技術，尤其涉及一種內存檢索系統和方法、以及實時檢索系統和方法。

背景技術

現有支持實時檢索的系統，將索引和檢索合并到一個進程中，它將索引和檢索合并到一個進程里，新的倒排索引可以立即被檢索使用。當內存中的索引數據達到閾值或者間隔時間達到閾值后，將內存的索引數據合并到磁盤的索引數據中。如此，檢索時需要同時查找內存的索引數據和磁盤的索引數據。當檢索數據集較小時，該檢索系統的實時性能夠滿足要求。但由于將檢索和索引集成在一個進程里，檢索和索引均會消耗大量的計算資源，在擁有海量數據的檢索系統中，采用類似的檢索架構將消耗大量的硬件設備，成本高且效率低。

發明內容

有鑒于此，本發明的主要目的在于提供一種內存檢索系統和方法、以及實時檢索系統和方法，不僅能夠實現實時快速的內存檢索，而且能夠降低成本和提高效率。

為達到上述目的，本發明的技術方案是這樣實現的：

本發明提供了一種內存檢索系統，所述系統包括：索引模塊和檢索模塊；其中，索引模塊，設置有多個索引數據庫，用于分庫得到和記錄索引數據，并分庫將更新的索引數據同步給所述檢索模塊；

檢索模塊，用于接收所述索引模塊同步的索引數據，更新內存中相應的索引數據庫，并將相應的索引數據庫指針切換到更新后的索引數據庫上。

在上述方案中，所述索引模塊，用于對當前接收到的原始數據進行處理，得到索引數據并記錄到當前索引數據庫，將當前索引數據庫的索引數據同步給所述檢索模塊。

在上述方案中，所述索引模塊設置的各索引數據庫按照所保存數據的更新時間排序；所述索引模塊，還用于在當前索引數據庫存滿時，將當前得到索引數據記錄到下一個索引數據庫，并將下一個索引數據庫的索引數據同步給所述檢索模塊；如此往復，在最后一個索引數據庫存滿時，清空第一個索引數據庫，將當前得到的索引數據記錄到第一個索引數據庫，并將第一個索引數據庫的索引數據同步給所述檢索模塊。

在上述方案中，所述索引模塊包括數據接收子模塊、索引數據生成子模塊和索引數據同步子模塊；其中，

數據接收子模塊，用于接收原始數據，生成源數據文件；

索引數據生成子模塊，用于對所述源數據文件進行處理，得到倒排信息，保存到當前索引數據庫的倒排庫，并通知所述索引數據同步子模塊；

索引數據同步子模塊，用于在接收到所述索引數據生成子模塊的通知后，將當前索引數據庫中倒排庫的倒排信息同步給所述檢索模塊。

在上述方案中，所述索引模塊設置的各索引數據庫包括一個用于記錄順排信息的順排庫和一個用于記錄倒排信息的倒排庫；

所述索引數據生成子模塊，用于對所述源數據文件進行順排處理，得到順排信息并記錄到當前索引數據庫的順排庫，再對所述順排信息進行倒排處理，得到倒排信息并記錄到當前索引數據庫的倒排庫。

在上述方案中，所述檢索模塊，用于：接收所述索引數據同步子模塊同步的倒排信息，先將所接收到的倒排信息加載到內存的一個臨時數據庫中，待當前索引數據庫的倒排庫中所有倒排信息同步完成后，將相應的索引數據庫指針切換到所述臨時數據庫上，并將所述臨時數據庫作為新的索引數據庫替換掉內存中相應的索引數據庫。

本發明還提供了一種實時檢索系統，所述實時檢索系統包括磁盤檢索子系統、第一內存檢索子系統和第二內存檢索子系統；其中，

所述磁盤檢索子系統包含有全部的索引數據，用于對全部數據進行檢索；

所述第一內存檢索子系統包含最近第一時間閾值內更新的索引數據，用于對最近第一時間閾值內更新的數據進行檢索；

所述第二內存檢索子系統包含最近第二時間閾值內更新的索引數據，用于對最近第二時間閾值內更新的數據進行檢索；

所述第一時間閾值和第二時間閾值為預先設置，且所述第二時間閾值小于所述第一時間閾值。