[發明專利]一種大數據檢索平臺

有效

• 申請號: 201710455589.8
• 申請日: 2017-06-16
• 公開（公告）號: CN107180113B
• 公開（公告）日: 2020-12-29
• 發明（設計）人: 王琛
• 申請（專利權）人: 成都億橙科技有限公司
• 主分類號: G06F16/2453
• 分類號: G06F16/2453;G06F16/27;G06F9/50;G06F11/14;G06F16/31;G06F40/289
• 代理公司: 成都行之專利代理事務所(普通合伙) 51220
• 代理人: 郭受剛

本發明公開了一種大數據檢索平臺包括：數據適配模塊用于實時獲取多種類型的數據，并將獲取的數據存入數據庫中；數據索引模塊用于：對數據進行格式轉換、將待索引數據分發至索引服務器、將數據寫入數據隊列、對隊列中的數據執行索引、將新追加的索引同步到索引庫、定時對歷史數據進行清理；云檢索控制模塊用于整合各檢索服務器的統一計算能力，完成檢索響應；擴展支持模塊，用于對平臺進行擴展支持；檢索定制API模塊用于進行接口定制，與上層系統對接，實現了利用大數據檢索平臺能夠高效、低成本的實現大數據檢索的技術效果。

技術領域

本發明涉及數據處理技術領域，具體地說，是一種大數據檢索平臺。

背景技術

隨著現代社會信息量的急劇增長，各種以Internet為載體的電子信息愈來愈多，如何有效、快速、準確地在海量信息中查找所需要的信息，已經成為人們的重要需求。

在信息化建設的初期，SQL Server、Oracle、Informix等結構化數據庫，就能夠滿足大家對數據查詢的需求。但是隨著互聯網的發展,非結構化的數據越來越多，并且增長迅速，傳統的關系型數據庫已經不能滿足對這類數據的處理要求。以性能和效率為主的非關系型數據庫成為大數據檢索的常用解決方案。

隨著數據量的進一步增大，全文檢索數據庫替代了結構化數據庫，成為大數據量檢索的常用解決方案。

在信息量繼續以幾何級爆炸式增長的今天，以高性能單服務器或集群服務器的解決方案已經不能滿足每天數以TB計的實時數據流。現有技術中的大數據檢索通常采用簡單增加服務器來實現，導致檢索效率較低，成本較高。

綜上所述，本申請發明人在實現本申請發明技術方案的過程中，發現上述技術至少存在如下技術問題：

在現有技術中，現有的大數據檢索存在檢索效率較低，成本較高的技術問題。

發明內容

本發明的目的在于提供一種大數據檢索平臺，解決現有的大數據檢索存在檢索效率較低，成本較高的技術問題，實現利用大數據檢索平臺能夠高效、低成本的實現大數據檢索的技術效果。

為實現以上目的，本發明是通過以下技術方案來實現的，本申請提供了一種大數據檢索平臺，本申請中的大數據檢索平臺采用分布式并行運算技術，可整合多臺服務器的計算能力，為前端應用提供毫秒級的檢索響應速度，并可動態增加服務器來應對數據量或并發量的增長。

平臺采用深度定制開發的策略，從核心算法一直到外圍接口，可以根據具體項目、數據規模、數據類型以及檢索用例進行相應的定制開發，保證最大化利用服務器性能，在提升檢索效率的同時，降低硬件采購成本。

所述平臺包括：數據適配模塊、數據索引模塊、云檢索控制模塊、擴展支持模塊、檢索定制API模塊；

數據適配模塊，用于實時獲取多種類型的數據，并將獲取的數據存入數據庫中；對不同的數據源(如:文件數據,數據庫數據,網絡數據)定制適配器，并且能夠實時跟蹤該數據源數據的變化；

數據索引模塊，用于對數據進行格式轉換、將待索引數據分發至索引服務器、將數據寫入數據隊列、對隊列中的數據執行索引、將新追加的索引同步到索引庫、定時對歷史數據進行清理；

云檢索控制模塊，所述云檢索控制模塊用于整合各檢索服務器的統一計算能力，完成檢索響應；

擴展支持模塊，用于對平臺進行擴展支持；

檢索定制API模塊，用于進行接口定制，與上層系統對接。

其中，所述擴展支持模塊包括以下內容：

數據冗余：將數據按預設規則在數據源服務器中形成備份；

負載均衡：在數據檢索請求高并發時，將請求均勻的分發給各檢索服務器；