[發明專利]一種基于Redis集群優化HBase集群性能的方法

有效

• 申請號: 202010468738.6
• 申請日: 2020-05-28
• 公開（公告）號: CN111737226B
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 康凱;申曉青
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F9/50;G06F16/25
• 代理公司: 濟南舜源專利事務所有限公司 37205
• 代理人: 張營磊

本發明提供一種基于Redis集群優化HBase集群性能的方法，包括如下步驟：步驟一：建立數據存儲集群組，步驟二：對集群組讀寫進行設置處理實現HBase集群性能的優化，具體包括：設置集群組寫入數據及時間戳規則，設置對客戶端的讀取、更新指令時間戳判斷模塊，當數據時間戳在設定的運行天數的前一天時，讀取指令被分配到HBase集群；當其要讀取的數據時間戳在第一Redis集群數據為最新一天的時間戳數據時，指令將分配到第一Redis集群中進行查詢；設置雙Redis集群高可用，若第一Redis集群出現硬件問題或網絡波動，第二Redis集群代替第一Redis集群接收數據并觸發維護報警。

技術領域

本發明涉及數據庫性能優化技術領域，具體涉及一種基于Redis集群優化HBase集群性能的方法。

背景技術

伴隨著當今社會的發展，數據量正以爆炸的速度進行增加，傳統的數據倉庫已經不能滿足公司日益增長的數據量的需要，甚至像Redis與HBase這樣的NoSQL也已經開始面臨著挑戰，目前數倉所面臨的挑戰主要集中在如何滿足高性能的需要、海量數據的持久、可靠性存儲上。

對于現有NoSQL，HBase的優勢是將普通的商用機器結合在一起，形成海量數據的可靠存儲，但性能略有不足。Redis作為基于內存的NoSQL，其性能大概是HBase的10到上百倍，但是基于內存代表不能保證數據可靠，不適合長時間存儲、也無法存儲大規模數據數據。對于數據源來說，當今社會的海量數據都是由人的行為產生的，人們生成的數據與人們的作息有著密切的聯系，既代表著絕大多數新生的數據都是在人類活躍時間段產生的。對于數據庫的底層服務器來說，在面臨多客戶端的頻繁請求時，承擔新生數據的吞吐時是機器壓力最大時，性能也會有著明顯下降。

發明內容

針對對于數據庫的底層服務器來說，在面臨多客戶端的頻繁請求時，承擔新生數據的吞吐時是機器壓力最大時，性能也會有著明顯下降的問題，本發明提供一種基于Redis集群優化HBase集群性能的方法。

本發明的技術方案是：

本發明技術方案提供一種基于Redis集群優化HBase集群性能的方法，包括如下步驟：

步驟一：建立數據存儲集群組，具體包括：

搭建HBase集群；

在HBase集群的基礎上搭建Redis集群,Redis集群包括第一Redis集群和第二Redis集群；雙Redis集群系統的有效利用提供對服務器底層的負載均衡能力；

步驟二：對集群組讀寫進行設置處理實現HBase集群性能的優化，具體包括：

設置集群組寫入數據及時間戳規則，其中，包括：設置集群組活躍時間段數據寫入規則；設置集群組非活躍時間數據寫入及數據同步；

設置對客戶端的讀取、更新指令時間戳判斷模塊，當數據時間戳在設定的運行天數的前一天時，讀取指令被分配到HBase集群；當其要讀取的數據時間戳在第一Redis集群數據為最新一天的時間戳數據時，指令將分配到第一Redis集群中進行查詢；

設置雙Redis集群實現集群高可用，設立journal模塊，設定活躍時間段第一Redis集群向第二Redis集群寫入每條數據時同時在journal模塊留下key值；根據返回的key值的時間判斷集群是否異常，若第一Redis集群出現硬件問題或網絡波動，第二Redis集群代替第一Redis集群接收數據并觸發維護報警。

進一步的，步驟一中建立數據存儲集群組，還包括：

設置集群組客戶活躍時間段和集群組客戶不活躍時間段，或，

創建活躍時間自動判定機制，根據集群組的實際吞吐量判定客戶活躍時間段。該集群組支持啟用活躍時間段自動判定，默認使用手動設定時間段。