[發明專利]實時大數據鏡像存儲方法及裝置

有效

• 申請號: 201710771908.6
• 申請日: 2017-08-31
• 公開（公告）號: CN109426438B
• 公開（公告）日: 2021-09-21
• 發明（設計）人: 涂鋒;尹啟祿;顧學偉;王建宏;劉鈺柏;黃志豪;劉忱
• 申請（專利權）人: 中國移動通信集團廣東有限公司;中國移動通信集團公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩;李官

1.一種實時大數據鏡像存儲方法，其特征在于，包括：

接收實時數據源；

對所述實時數據源中的原始數據進行行列拆分，獲取所述原始數據的原始數據記錄數；并對所述原始數據按預設的鏡像算法進行鏡像處理，得到鏡像后的數據結果，再將所述數據結果存儲至緩存變量中，記錄所述緩存變量中的緩存數據記錄數；

若所述緩存變量的大小達到設定值，則判斷所述原始數據記錄數與所述緩存數據記錄數的誤差是否小于預設閾值；

若小于，則將所述緩存變量中的緩存數據按指定的配置路徑存儲至存儲文件中，記錄所述存儲文件中的存儲數據記錄數；

判斷所述緩存數據記錄數與所述存儲數據記錄數的誤差是否小于預設閾值；若小于，則將所述存儲文件發送至外部分布式存儲系統進行存儲；

其中，所述對原始數據按預設的鏡像算法進行鏡像處理，得到鏡像后的數據結果，包括：

加載數據鏡像配置表；

根據所述配置表中配置的列數據鏡像映射關系，對所述原始數據中每一行進行列數據鏡像處理，得到鏡像后的數據結果。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

獲取本機系統的資源情況，并計算本機系統當前的資源負載值；

若所述本機系統的資源負載值大于第一閾值，則減少數據鏡像處理隊列；

若所述本機系統的資源負載值小于第二閾值，則增加數據鏡像處理隊列；

其中第一閾值大于第二閾值。

3.根據權利要求1所述的方法，其特征在于，所述方法還包括：

獲取外部分布式存儲系統的資源情況，并計算外部分布式存儲系統當前的資源負載值；

若所述外部分布式存儲系統的資源負載值大于第三閾值，則減少數據鏡像存儲隊列；

若所述外部分布式存儲系統的資源負載值小于第四閾值，則增加數據鏡像存儲隊列；

其中第三閾值大于第四閾值。

4.一種實時大數據鏡像存儲裝置，其特征在于，包括：

數據接收模塊，用于接收實時數據源；

數據鏡像處理模塊，用于對所述實時數據源中的原始數據進行行列拆分，獲取所述原始數據的原始數據記錄數；并對所述原始數據按預設的鏡像算法進行鏡像處理，得到鏡像后的數據結果，再將所述數據結果存儲至緩存變量中，記錄所述緩存變量中的緩存數據記錄數；

數據檢驗模塊，用于若所述緩存變量的大小達到設定值，則判斷所述原始數據記錄數與所述緩存數據記錄數的誤差是否小于預設閾值；

數據鏡像存儲模塊，用于若判斷小于，則將所述緩存變量中的數據按指定的配置路徑存儲至存儲文件中，記錄所述存儲文件中的存儲數據記錄數；

所述數據檢驗模塊，還用于判斷所述緩存數據記錄數與所述存儲數據記錄數的誤差是否小于預設閾值；若小于，則將所述存儲文件發送至外部分布式存儲系統進行存儲；

其中，所述數據鏡像處理模塊，進一步用于：

加載數據鏡像配置表；

根據所述配置表中配置的列數據鏡像映射關系，對所述原始數據中每一行進行列數據鏡像處理，得到鏡像后的數據結果。

5.根據權利要求4所述的裝置，其特征在于，所述裝置還包括計算資源監控模塊，用于：

獲取本機系統的資源情況，并計算本機系統當前的資源負載值；

若所述本機系統的資源負載值大于第一閾值，則減少數據鏡像處理隊列；

若所述本機系統的資源負載值小于第二閾值，則增加數據鏡像處理隊列；

其中第一閾值大于第二閾值。

6.根據權利要求4所述的裝置，其特征在于，所述裝置還包括計算資源監控模塊，用于：

獲取外部分布式存儲系統的資源情況，并計算外部分布式存儲系統當前的資源負載值；

若所述外部分布式存儲系統的資源負載值大于第三閾值，則減少數據鏡像存儲隊列；

若所述外部分布式存儲系統的資源負載值小于第四閾值，則增加數據鏡像存儲隊列；

其中第三閾值大于第四閾值。