[發明專利]一種跨集群數據的處理方法和系統、存儲介質

有效

• 申請號: 201811518625.1
• 申請日: 2018-12-12
• 公開（公告）號: CN109726191B
• 公開（公告）日: 2021-02-02
• 發明（設計）人: 尹正軍;余澈;穆純進;馬驍
• 申請（專利權）人: 中國聯合網絡通信集團有限公司;聯通大數據有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/242;G06F16/2455
• 代理公司: 北京天昊聯合知識產權代理有限公司 11112
• 代理人: 彭瑞欣;汪源

1.一種跨集群數據的處理方法，其特征在于，所述方法包括：

對獲取到的數據請求中攜帶的SQL語句進行解析，得到請求數據信息；

判斷所述請求數據信息對應的目標數據是否存儲于預設的跨集群分布式緩存中，得到第一判斷結果；

若所述第一判斷結果為是時，則從所述跨集群分布式緩存中讀取所述目標數據；

其中，所述跨集群分布式緩存中包括訪問頻次大于頻次閾值的熱數據；

若所述第一判斷結果為否時，則判斷所述目標數據是否僅分布于多個預設的集群中的任一集群，得到第二判斷結果；

若所述第二判斷結果為是時，則從包括所述目標數據的集群中讀取所述目標數據；

若所述第二判斷結果為否時，則獲取預設的同步排列表；

分別計算每個包括部分所述目標數據對應的集群的綜合負載指數；

將每個所述綜合負載指數均與預設的負載閾值進行比較，提取比所述負載閾值大的目標綜合負載指數對應的集群；

根據所述目標綜合負載指數對應的集群、所述同步排列表和所述跨集群分布式緩存，確定遷移任務。

2.根據權利要求1所述的跨集群數據的處理方法，其特征在于，基于式1計算所述綜合負載指數F(i)，式1：

其中，n為集群總數，W_cpu為集群CPU平均負載權重系數，cpuLoad(i)為集群i的CPU負載，W_mem為集群內存平均負載權重系數，memLoad(i)為集群i的內存負載，W_disk為集群磁盤存儲平均負載權重系數，diskLoad(i)為集群i的磁盤存儲負載，W_net為集群帶寬負載權重系數，netLoad(i)為集群節點i的帶寬占用負載，W_job為集群作業平均負載系數，jobLoad為集群執行作業負載，W_penalty為集群業務優先懲罰項權重系數，S_m為業務優先懲罰項。

3.根據權利要求2所述的跨集群數據的處理方法，其特征在于，獲取S_m的方法包括：

將每一天的時間按K小時進行切片；

通過式2對第m個切片結束時間段進行表示，式2：T_m＝mK(m∈[1,24/K])；

通過式3對第m個切片時間片段進行表示，式3：f_(m-1,m)＝[T_m-1，T_m]；

遍歷每個時間片段，得到每個時間片段對應的業務優先懲罰項S_m。

4.根據權利要求1至3中任一項所述的跨集群數據的處理方法，其特征在于，所述方法還包括：

基于所述遷移任務中第一集群對應的待遷移的數據容量信息，所述集群對應的寬帶信息，以及第二集群對應的負載信息，計算所述遷移任務對應的進度信息，其中，所述遷移任務包括將所述第一集群中的數據遷移至所述第二集群的信息。

5.根據權利要求1至3中任一項所述的跨集群數據的處理方法，其特征在于，所述對獲取到的數據請求中攜帶的SQL語句進行解析，得到請求數據信息，具體包括：

對所述SQL語句的詞法和語法解析，生成AST抽象語法樹；

通過遍歷遞歸的方法對所述AST樹進行遍歷遞歸處理，生成查詢塊QueryBlock；

對所述QueryBlock進行分析處理，生成邏輯執行計劃信息；

基于所述邏輯執行計劃信息，生成所述請求數據信息。

6.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現如權利要求1-5中任一項所述的方法。

7.一種跨集群數據的處理系統，其特征在于，所述系統包括：解析模塊、判斷模塊和讀取模塊，其中，

所述解析模塊用于：對獲取到的數據請求中攜帶的SQL語句進行解析，得到請求數據信息；

所述判斷模塊用于：判斷所述請求數據信息對應的目標數據是否存儲于預設的跨集群分布式緩存中，得到第一判斷結果；

所述讀取模塊用于：若所述第一判斷結果為是時，則從所述跨集群分布式緩存中讀取所述目標數據；

其中，所述跨集群分布式緩存中包括訪問頻次大于頻次閾值的熱數據；

所述判斷模塊還用于：若所述第一判斷結果為否時，則判斷所述目標數據是否僅分布于多個預設的集群中的任一集群，得到第二判斷結果；

所述讀取模塊還用于：若所述第二判斷結果為是時，則從包括所述目標數據的集群中讀取所述目標數據；

所述系統包括：獲取模塊、計算模塊、比較模塊、匹配模塊，其中，

所述獲取模塊用于：若所述第二判斷結果為否時，則獲取預設的同步排列表，其中，所述同步排列表中包括每個所述集群對應的遷移信息；

所述計算模塊用于：分別計算每個包括部分所述目標數據對應的集群的綜合負載指數；

所述比較模塊用于：將每個所述綜合負載指數均與預設的負載閾值進行比較，提取比所述負載閾值大的目標綜合負載指數對應的集群；

所述匹配模塊用于：根據所述目標綜合負載指數對應的集群、所述同步排列表和所述跨集群分布式緩存，確定遷移任務。