[發(fā)明專利]一種自適應任務調度器及方法

有效

• 申請?zhí)枺?/td>: 201911021198.0
• 申請日: 2019-10-25
• 公開（公告）號: CN110764912B
• 公開（公告）日: 2022-09-09
• 發(fā)明（設計）人: 汪志峰;趙宇海;王國仁;季航旭;李博揚
• 申請（專利權）人: 東北大學;北京理工大學
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N3/00
• 代理公司: 沈陽東大知識產權代理有限公司 21109
• 代理人: 李在川

本發(fā)明公開一種自適應任務調度器及方法，屬于分布式流處理系統(tǒng)負載均衡調度技術領域，該調度器主要包括性能監(jiān)控數(shù)據(jù)采集模塊、平滑加權輪詢任務調度模塊以及基于蟻群算法的任務調度模塊，采用本發(fā)明的自適應任務調度器進行任務調度的方法在任務運行初始階段，采用平滑加權輪詢任務調度算法，根據(jù)節(jié)點的權重分配任務，在保證選中次數(shù)不變的情況下，使得節(jié)點不被連續(xù)選中；當集群的負載超過設定閾值的時候，為避免拖延任務集合的整體完成時間，使用基于蟻群算法的負載均衡算法在一定的迭代次數(shù)內計算出最優(yōu)的任務分配方案，待集群資源降低到設定閾值下時候，繼續(xù)采用平滑加權輪詢算法。

技術領域

本發(fā)明涉及分布式流處理系統(tǒng)負載均衡調度技術領域，尤其涉及一種自適應任務調度器及方法。

背景技術

在流計算集群中，任務調度模塊是非常重要的一部分。任務調度模塊負責把Task分配給指定的Slot去調度執(zhí)行，保證整個集群中每個節(jié)點的負載均衡。經典的負載均衡算法有輪詢法(Round Robin)、隨機法(Random)、源地址哈希法(Hash)、加權輪詢法(WeightRound Robin)、加權隨機法(Weight Random)、最小連接數(shù)法(Least Connections)。上述的負載均衡算法通常都被用于各種負載均衡的模型中，而很多負載均衡的算法都是基于上面負載均衡算法改進的。而常見的大數(shù)據(jù)流計算框架里面，常見的調度器通常都是輪詢實現(xiàn)的。這樣的優(yōu)勢在于當集群里面所有的節(jié)點都是同等的性能時Task被整體均衡分配，從而就能使得集群負載均衡。但是在異構集群里面，每個節(jié)點的性能存在較大差別，若還采用輪詢的算法，就會造成性能好的節(jié)點和性能較差節(jié)點被分配同等的任務。這樣整體任務集合的完成時間、延遲時間、吞吐量都會受到影響。

發(fā)明內容

針對上述現(xiàn)有技術的不足，本發(fā)明提供一種自適應任務調度器及方法。

為解決上述技術問題，本發(fā)明所采取的技術方案是：一種自適應任務調度器，包括：性能監(jiān)控數(shù)據(jù)采集模塊、平滑加權輪詢任務調度模塊以及基于蟻群算法的任務調度模塊；

所述性能監(jiān)控數(shù)據(jù)采集模塊包括：節(jié)點CPU利用率監(jiān)控數(shù)據(jù)采集單元、節(jié)點內存利用率監(jiān)控數(shù)據(jù)采集單元、監(jiān)控數(shù)據(jù)上傳單元、監(jiān)控數(shù)據(jù)存儲單元和API接口開放單元；

所述節(jié)點CPU利用率監(jiān)控數(shù)據(jù)采集單元通過計算空閑時間周期和總的時鐘周期來計算CPU利用率；

所述節(jié)點內存利用率監(jiān)控數(shù)據(jù)采集單元通過計算空閑的內存空間和總的內存空間來計算內存利用率；

所述監(jiān)控數(shù)據(jù)上傳單元通過使用Netty網絡通信框架，將每個集群中Slave節(jié)點的CPU利用率和內存利用率上傳給集群中Master節(jié)點；

所述監(jiān)控數(shù)據(jù)存儲單元使用Redis內存KV數(shù)據(jù)庫存儲性能數(shù)據(jù)，并配置LRU的模式，保存最近的數(shù)據(jù)，能夠加快監(jiān)控數(shù)據(jù)的訪問；

所述API接口開放單元通過使用Web技術，開放出Http的接口，供集群通過HttpClient調用；

所述平滑加權輪詢任務調度模塊用于在初始調度時采用平滑加權輪詢任務調度算法達到集群負載均衡；

所述基于蟻群算法的任務調度模塊用于當集群中整體資源使用達到規(guī)定閾值時，計算出全局最優(yōu)任務分配方案供后續(xù)的任務分配使用，當集群資源降到閾值以下，則繼續(xù)采用所述平滑加權輪詢任務調度算法對任務進行分配。

采用上述自適應任務調度器進行任務調度的方法，其流程如圖1所示，包括如下步驟：

步驟1：獲取CPU利用率、內存利用率、總內存大小以及上傳性能數(shù)據(jù)；

步驟1.1：Linux的實時性能監(jiān)控數(shù)據(jù)存放在/proc文件夾下的性能記錄文件里；