[發明專利]海量數據存儲方法及海量數據存儲系統

在審

• 申請號: 201710947918.0
• 申請日: 2017-10-12
• 公開（公告）號: CN108304438A
• 公開（公告）日: 2018-07-20
• 發明（設計）人: 曾勇;許毅文;鄭雄威;張紅衛
• 申請（專利權）人: 深圳市天下房倉科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 深圳國新南方知識產權代理有限公司 44374
• 代理人: 王勇

本發明公開了一種海量數據存儲方法及海量數據存儲系統，其中，該方法包括：主MQ集群接收外部發送的待存儲數據，并將待存儲數據交互給比較模塊；比較模塊判斷緩存集群是否存在待存儲數據；若緩存集群中存在待存儲數據，則比較模塊不處理待存儲數據；若緩存集群中不存在待存儲數據，則比較模塊將待存儲數據發送至數據庫和緩存集群進行同步存儲。本發明先將外部接收到的數據存儲至主MQ集群，因此，通過這種異步方式減輕了數據庫的入庫壓力。此外，比較模塊判定當前待存儲數據屬于新的數據時，才將其存儲至數據庫，從而提升了數據庫的數據有效存儲率。進一步，相同的數據不進行處理，則提升了數據的處理速率。

技術領域

本發明涉及數據存儲技術領域，尤其涉及一種海量數據存儲方法及海量數據存儲系統。

背景技術

目前，隨著信息數據處理需求的日益增長以及不同領域的業務種類的日益豐富，海量數據的存儲變得越來越重要。

現有的海量數據直接通過數據庫接口接入數據庫，既會造成數據庫的入庫壓力大，也會造成導入數據庫的數據的冗余度過高(譬如：相同的數據)，以致降低了數據導入的有效率。

發明內容

本發明的目的在于提供一種海量數據存儲方法及海量數據存儲系統，以解決現有數據庫的入庫壓力大，且數據導入有效率低的問題。

為了解決上述問題，本發明提供了一種海量數據存儲方法，其包括如下步驟：

主MQ集群接收外部發送的待存儲數據，并將待存儲數據交互給比較模塊；

比較模塊判斷緩存集群是否存在待存儲數據；

若緩存集群中存在待存儲數據，則比較模塊不處理待存儲數據；

若緩存集群中不存在待存儲數據，則比較模塊將待存儲數據發送至數據庫和緩存集群進行同步存儲。

作為本發明的進一步改進，其還包括：

監測模塊監測主MQ集群是否出現故障；

若監測到主MQ集群出現故障，則發送故障反饋信息至控制終端。

作為本發明的進一步改進，發送故障反饋信息至控制終端的步驟之后，還包括：

控制終端接收到故障反饋信息后，發送重新獲取請求至外部，以重新獲取所有待存儲數據且發送至備用MQ集群，備用MQ集群作為新的主MQ集群，且發送清空指令至主MQ集群，以清空主MQ集群存儲的所有數據，主MQ集群作為新的備用MQ集群。

作為本發明的進一步改進，監測模塊監測主MQ集群是否出現故障的步驟，包括：

監測模塊實時監測主MQ集群堆積的數據量是否超過預設閾值；

若堆積的數據量超過預設閾值，則主MQ集群出現故障。

為了解決上述問題，本發明還提供了一種海量數據存儲系統，其包括：

緩存集群，用于記錄所有已存儲數據，且用于接收并存儲比較模塊發送的目標存儲數據，以形成新的已存儲數據，目標存儲數據為與所有已存儲數據比較不一致的數據；

主MQ集群，用于接收外部發送的待存儲數據；

比較模塊，用于接收主MQ集群發送的待存儲數據，并將待存儲數據與所有已存儲數據進行比較；

數據庫，用于接收并存儲比較模塊發送的目標存儲數據。

作為本發明的進一步改進，其還包括：

監測模塊，用于監測主MQ集群是否出現故障，若監測到主MQ集群出現故障，則生成故障反饋信息；

控制終端，用于接收監測模塊發送的故障反饋信息。