[發明專利]一種基于Redis集群優化HBase集群性能的方法

有效

• 申請號: 202010468738.6
• 申請日: 2020-05-28
• 公開（公告）號: CN111737226B
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 康凱;申曉青
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F9/50;G06F16/25
• 代理公司: 濟南舜源專利事務所有限公司 37205
• 代理人: 張營磊

1.一種基于Redis集群優化HBase集群性能的方法，其特征在于，包括如下步驟：

步驟一：建立數據存儲集群組，具體包括：

搭建HBase集群；

在HBase集群的基礎上搭建Redis集群, Redis集群包括第一Redis集群和第二Redis集群；

步驟二：對集群組讀寫進行設置處理實現HBase集群性能的優化，具體包括：

設置集群組寫入數據及時間戳規則，其中，包括：設置集群組活躍時間段數據寫入規則；設置集群組非活躍時間數據寫入及數據同步；

設置對客戶端的讀取、更新指令時間戳判斷模塊，當數據時間戳在設定的運行天數的前一天時，讀取指令被分配到HBase集群；當其要讀取的數據時間戳在第一Redis集群數據為最新一天的時間戳數據時，指令將分配到第一Redis集群中進行查詢；

設置雙Redis集群實現集群高可用，設立journal 模塊，設定活躍時間段第一Redis集群向第二 Redis集群寫入每條數據時同時在journal模塊留下key值；根據返回的key值的時間判斷集群是否異常，若第一Redis集群出現硬件問題或網絡波動，第二Redis集群代替第一Redis集群接收數據并觸發維護報警;

所述的設置集群組寫入數據及時間戳規則的步驟具體包括：

S21：設置集群組活躍時間段數據寫入規則；

在集群組客戶活躍時間段中，新寫入的數據被打上時間戳key值寫入第一Redis集群中，在集群組中第一Redis集群負責最新一天的新數據的插入，集群組中第二Redis集群在活躍時間段中進行新插入數據的備份；

S22：設置集群組非活躍時間數據寫入及數據同步；

在集群組非活躍時間段時，HBase集群將在滿足客戶讀取、更新數據請求的同時接受第一Redis集群最新一天時間戳的數據同步；在數據同步的同時，第二Redis集群暫時接收客戶的插入新數據的請求并直接同步到HBase集群。

2.根據權利要求1所述的一種基于Redis集群優化HBase集群性能的方法，其特征在于，步驟一中建立數據存儲集群組，還包括：

設置集群組客戶活躍時間段和集群組客戶不活躍時間段，或，

創建活躍時間自動判定機制，根據集群組的實際吞吐量判定客戶活躍時間段。

3.根據權利要求2所述的一種基于Redis集群優化HBase集群性能的方法，其特征在于，創建活躍時間自動判定機制，根據集群組的實際吞吐量判定客戶活躍時間段，具體包括：

創建活躍時間段自動判定模塊；

活躍時間段自動判定模塊通過接口獲取集群吞吐數據，將吞吐數據導入公式，設定在底層服務器的上的HBase集群基準吞吐量為H；實際吞吐量=（用戶插入數據量*1.3+用戶讀取數據量*0.6+用戶更新數據量*1.2）/時間段；

當實際吞吐量 0.8H時,判定為活躍時間段。

4.根據權利要求2所述的一種基于Redis集群優化HBase集群性能的方法，其特征在于，步驟一中建立數據存儲集群組，還包括：

基于客戶端數據量設置第一Redis集群和第二Redis集群節點數。

5.根據權利要求4所述的一種基于Redis集群優化HBase集群性能的方法，其特征在于，設定第一Redis集群和第二Redis集群節點數量相同均為n，

n=1.2*N1/（c-系統內存）

其中，N1為HBase集群每日活躍時間段插入的數據量；

c為Redis集群的每個節點服務器的內存大小；

系統內存為系統常用內存。

6.根據權利要求1所述的一種基于Redis集群優化HBase集群性能的方法，其特征在于，該方法還包括:

數據同步時設置批量處理接口，使用批處理DML的方式；并且數據同步結束后，Redis集群將所有內存數據釋放。

7.根據權利要求1所述的一種基于Redis集群優化HBase集群性能的方法，其特征在于，設置雙Redis集群實現集群高可用的步驟包括：

在每個Redis集群中的管理節點中設立一個journal 模塊，設定活躍時間段第一Redis集群向第二 Redis集群寫入每條數據時同時在journal模塊留下key值；

在設定的時間段內若未收到key值，則啟動數據反寫，發送三條數據到第一Redis集群，若第一Redis集群、第二Redis集群及集群之間通信正常，則第二Redis集群收到二次返回的key值，若第一Redis集群出現硬件問題或網絡波動，則第二 Redis集群代替第一Redis集群繼續接受數據并觸發維護警報。