[發明專利]一種基于主從備份技術的分布式負載均衡方法

有效

• 申請號: 201911119106.2
• 申請日: 2019-11-15
• 公開（公告）號: CN111400026B
• 公開（公告）日: 2023-02-28
• 發明（設計）人: 謝在鵬;李博文;張基;朱曉瑞;徐媛媛;葉保留;毛鶯池
• 申請（專利權）人: 河海大學
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F17/12;G06F11/14
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 柏尚春

本發明公開了一種主從備份技術的分布式負載均衡方法，包括步驟如下：S1劃分節點集合；S2劃分任務集合；S3分發子任務；S4記錄執行時間；S5計算執行效率；S6求解分配方案；通過將任務分配問題建模為線性規劃問題，通過對抽象模型的分析，實現了對任務分配可行域的求解。同時結合實際問題，提出一種帶備份的任務分配和動態調整方法，該方法旨在提供一種能在有備份的分布式集群上實現按效能的任務分配，同時盡可能降低節點之間的顯在性能關聯性。能夠實現在提高主節點的任務量時，盡量不提高備份節點的額外負擔，進而可以緩解節點間存在的性能差異對整體任務運行時間的影響。

技術領域

本發明屬于計算機通信領域，尤其涉及一種基于主從備份技術的分布式負載均衡方法。

背景技術

在分布式系統中，容忍進程失敗的關鍵方法是把多個同樣的進程放到一個組中，當一個信息發送到組本身進行處理時，所有的成員都接受并處理它。通過這種方式，如果組中的一個進程失敗，其他的一些進程可以接管它。在需要容錯的情況下，通常使用進程復制的方法，當主進程崩潰時，備份進程替代當前主進程的任務；在需要提高效能的情況下，通常使用復制和緩存擴展以及冗余編碼來復制主進程形成進程組，由于冗余的存在可以使得任務更快回收(基于MDS碼的任務冗余部分快速回收)，可以使得任務所需通訊量減少(基于CDC編碼的通信負載降低)。

通常的進程備份方案將主節點上運行的主進程完全復制形成備份進程，并放置到備份節點上。由于節點之間存在全備份關系，主節點和備份節點之間需要保證強一致性，增加主節點的任務量同時也會相應的增加備份節點的任務量。當組中主節點與其備份節點存在性能差異時，提高主節點的任務量可能會導致主節點和備份節點之間存在不可忽視的運行時間差異，影響備份的實時性。

發明內容

發明目的：為了將上述任務分配問題建模為線性規劃問題，通過對抽象模型的分析，實現對任務分配可行域的求解，同時結合實際問題，提出一種帶備份的任務分配和動態調整方法。

技術方案：本發明提供一種基于主從備份技術的分布式負載均衡方法，包括如下具體步驟：

(1)根據構建的有節點分布式集群，劃分節點集合；

(2)在集群上運行設置備份等級的任務，將同一批次所有任務劃分任務集合；

(3)依據步驟(1)和(2)得到的節點集合和任務集合，將任務集合包含的任務分發至對應節點集合；

(4)待所有節點完成其收到的任務，收集并記錄執行時間；

(5)獲取每個節點的計算效率，歸一化計算執行效率；

(6)通過已知常量建立方程組，變形轉換為線性規劃問題，進而求解分配方案。

進一步地，步驟(1)中所述劃分節點集合方法包括：

(1.1)構建一個n個節點分布式集群為

(1.2)對n個節點進行排列組合，取任意r個節點組成一組子集合將全部的可能的組合組成集合集合有個元素，初始化

進一步地，步驟(2)中所述劃分任務集合方法包括：

(2.1)在步驟(1)構建的集群上運行F個均等任務量的任務，同時設置備份等級為r；

(2.2)整個任務集合F劃分為小批次，每一批次執行一次任務分配與運行統計，系統運行時段記作t，批次記作F_j，每個批次F_j的計算時間記作Δt；每個批次F_j劃分為更小批量的小任務集合，記作的大小記作

(2.3)將同一個批次的所有任務F_j劃分為個任務集，在t時刻，以比例劃分批次任務F_j為個任務集合集合與類似，集合也有個元素。