[發明專利]海量數據存儲方法及海量數據存儲系統

在審

• 申請號: 201710947918.0
• 申請日: 2017-10-12
• 公開（公告）號: CN108304438A
• 公開（公告）日: 2018-07-20
• 發明（設計）人: 曾勇;許毅文;鄭雄威;張紅衛
• 申請（專利權）人: 深圳市天下房倉科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 深圳國新南方知識產權代理有限公司 44374
• 代理人: 王勇

1.一種海量數據存儲方法，其特征在于，其包括如下步驟：

主MQ集群接收外部發送的待存儲數據，并將所述待存儲數據交互給比較模塊；

所述比較模塊判斷所述緩存集群是否存在所述待存儲數據；

若所述緩存集群中存在所述待存儲數據，則所述比較模塊不處理所述待存儲數據；

若所述緩存集群中不存在所述待存儲數據，則所述比較模塊將所述待存儲數據發送至數據庫和所述緩存集群進行同步存儲。

2.根據權利要求1所述的海量數據存儲方法，其特征在于，其還包括：

監測模塊監測所述主MQ集群是否出現故障；

若監測到所述主MQ集群出現故障，則發送故障反饋信息至控制終端。

3.根據權利要求2所述的海量數據存儲方法，其特征在于，所述發送故障反饋信息至控制終端的步驟之后，還包括：

所述控制終端接收到所述故障反饋信息后，發送重新獲取請求至外部，以重新獲取所有待存儲數據且發送至備用MQ集群，所述備用MQ集群作為新的主MQ集群，且發送清空指令至所述主MQ集群，以清空所述主MQ集群存儲的所有數據，所述主MQ集群作為新的備用MQ集群。

4.根據權利要求2所述的海量數據存儲方法，其特征在于，所述監測模塊監測所述主MQ集群是否出現故障的步驟，包括：

所述監測模塊實時監測所述主MQ集群堆積的數據量是否超過預設閾值；

若堆積的數據量超過所述預設閾值，則所述主MQ集群出現故障。

5.一種海量數據存儲系統，其特征在于，其包括：

緩存集群，用于記錄所有已存儲數據，且用于接收并存儲比較模塊發送的目標存儲數據，以形成新的已存儲數據，所述目標存儲數據為與所述所有已存儲數據比較不一致的數據；

主MQ集群，用于接收外部發送的待存儲數據；

所述比較模塊，用于接收所述主MQ集群發送的所述待存儲數據，并將所述待存儲數據與所述所有已存儲數據進行比較；

數據庫，用于接收并存儲所述比較模塊發送的所述目標存儲數據。

6.根據權利要求5所述的海量數據存儲系統，其特征在于，其還包括：

監測模塊，用于監測所述主MQ集群是否出現故障，若監測到所述主MQ集群出現故障，則生成故障反饋信息；

控制終端，用于接收所述監測模塊發送的所述故障反饋信息。

7.根據權利要求6所述的海量數據存儲系統，其特征在于，其還包括：

所述控制終端，還用于接收到所述故障反饋信息后，發送重新獲取請求至外部，以請求重新獲取所有待存儲數據且發送至備用MQ集群，且發送清空指令至所述主MQ集群；

所述備用MQ集群，用于接收外部再次發送的待存儲數據，且所述備用MQ集群作為新的主MQ集群；

所述主MQ集群，還用于接收到所述清空指令時，清空所述主MQ集群存儲的所有數據，所述主MQ集群作為新的備用MQ集群。

8.根據權利要求6所述的海量數據存儲系統，其特征在于，所述監控模塊包括：

堆積量監測單元，用于實時監測所述主MQ集群堆積的數據量是否超過預設閾值；若堆積的數據量超過所述預設閾值，則反饋所述主MQ集群出現故障。