[發明專利]一種基于Solr的索引數據動態更新的處理系統及方法

在審

• 申請號: 202211388723.4
• 申請日: 2022-11-08
• 公開（公告）號: CN115495456A
• 公開（公告）日: 2022-12-20
• 發明（設計）人: 凌世播;杜夢男;蔡建國;李清松
• 申請（專利權）人: 南京論之語網絡技術有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/23
• 代理公司: 北京高航知識產權代理有限公司 11530
• 代理人: 覃釗雄

本發明提出了一種基于Solr的索引數據動態更新的處理系統及方法，屬于計算機領域。該方法包括信息接收模塊、索引更新模塊、索引切換模塊以及管理模塊。本發明在數據處理方式修改后，實現海量歷史索引數據的動態更新，以解決海量索引數據全量更新時占用大量系統資源，導致的系統不可用以及檢索準確性和時效性下降的問題。通過多個功能模塊，實現歷史索引數據的動態更新，并保證索引數據更新時系統功能的正常運行，且使檢索的準確性得到了一定的保障，增加了用戶的使用體驗。

技術領域

本發明屬于計算機領域，尤其涉及一種基于Solr的索引數據動態更新的處理系統及方法。

背景技術

當今社會是一個信息化的社會，非結構化信息作為其中最主要的一部分有著規模龐大、類別繁多、形式多樣等特點，非結構化數據管理分析系統就此提出。該系統是一個基于非結構化內容數據的一站式分析管理系統，經過一系列的數據處理，可通過標簽篩選、關鍵字檢索等形式完成針對內容數據的實時檢索，方便用戶管理這些內容數據。Solr是一款全文搜索引擎，通過倒排索引機制，實現了數據資源的快速檢索，還提供了多種功能特性，使其在非結構化管理分析系統中有著優秀的表現。在系統使用過程中，存在一個不可忽視的問題，當修改數據處理方式時，需要對歷史索引數據進行重建。當前解決該問題的常見方式有兩種，一是對索引數據進行全量更新，二是進行閑時分批更新。對于存有海量內容數據的系統來說，第一種方式會占用大量的資源，消耗大量的時間，且在數據更新時系統基本不可用；第二種方式雖然避免了占用大量工作時間，檢索的準確性有所下降。

發明內容

本發明的目的在于提供一種一種基于Solr的索引數據動態更新的處理系統及方法，在數據處理方式修改后，實現海量歷史索引數據的動態更新，以解決海量索引數據全量更新時占用大量系統資源，導致的系統不可用以及檢索準確性和時效性下降的問題。

為了達到上述目的，在本發明的第一個方面，提供了一種基于Solr的索引數據動態更新的處理系統，包括信息接收模塊、索引更新模塊、索引切換模塊和管理模塊；

所述信息接收模塊與索引更新模塊相連，用于接收指令信息和將指令信息下發至索引更新模塊；

所述索引更新模塊與信息接收模塊相連，用于根據下發的指令信息更新索引數據、根據設置的邏輯索引更新索引數據和對歷史索引數據進行更新；

所述索引切換模塊與索引更新模塊相連，用于切換邏輯索引之間的備從關系，優先查詢更新后的邏輯索引和刪除主、從邏輯索引歷史的索引數據；

所述管理模塊與信息接收模塊和索引更新模塊相連，用于對索引更新模塊所使用到的內容數據和索引數據進行管理。

進一步地，所述指令信息包括當用戶發起需要對歷史索引數據進行更新的指令信息。

進一步地，所述邏輯索引包括主邏輯索引、備邏輯索引和從邏輯索引。

進一步地，所述根據設置的邏輯索引更新索引數據的具體步驟為：

當所述索引更新模塊進行數據查詢時，優先查詢主、備邏輯索引；

若所述索引數據進行增量更新時，優先更新在主邏輯索引的最新一個索引文件。

在本發明的第二個方面，提供了一種基于Solr的索引數據動態更新的處理方法，所述方法包括：

當用戶發起需要對歷史索引數據進行更新的指令時，信息接收模塊接收指令并下發至索引更新模塊；

根據下發的指令信息更新索引數據、根據設置的邏輯索引更新索引數據和對歷史索引數據進行更新；

切換邏輯索引之間的備從關系，優先查詢更新后的邏輯索引和刪除主、從邏輯索引歷史的索引數據；

對索引更新模塊所使用到的內容數據和索引數據進行管理。