[發(fā)明專利]一種自適應(yīng)任務(wù)調(diào)度器及方法

有效

• 申請?zhí)枺?/td>: 201911021198.0
• 申請日: 2019-10-25
• 公開（公告）號: CN110764912B
• 公開（公告）日: 2022-09-09
• 發(fā)明（設(shè)計(jì)）人: 汪志峰;趙宇海;王國仁;季航旭;李博揚(yáng)
• 申請（專利權(quán)）人: 東北大學(xué);北京理工大學(xué)
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N3/00
• 代理公司: 沈陽東大知識產(chǎn)權(quán)代理有限公司 21109
• 代理人: 李在川

1.一種自適應(yīng)任務(wù)調(diào)度器，其特征在于包括：性能監(jiān)控?cái)?shù)據(jù)采集模塊、平滑加權(quán)輪詢?nèi)蝿?wù)調(diào)度模塊以及基于蟻群算法的任務(wù)調(diào)度模塊；

所述性能監(jiān)控?cái)?shù)據(jù)采集模塊包括：節(jié)點(diǎn)CPU利用率監(jiān)控?cái)?shù)據(jù)采集單元、節(jié)點(diǎn)內(nèi)存利用率監(jiān)控?cái)?shù)據(jù)采集單元、監(jiān)控?cái)?shù)據(jù)上傳單元、監(jiān)控?cái)?shù)據(jù)存儲單元和API接口開放單元；

所述節(jié)點(diǎn)CPU利用率監(jiān)控?cái)?shù)據(jù)采集單元通過計(jì)算空閑時間周期和總的時鐘周期來計(jì)算CPU利用率；

所述節(jié)點(diǎn)內(nèi)存利用率監(jiān)控?cái)?shù)據(jù)采集單元通過計(jì)算空閑的內(nèi)存空間和總的內(nèi)存空間來計(jì)算內(nèi)存利用率；

所述監(jiān)控?cái)?shù)據(jù)上傳單元通過使用Netty網(wǎng)絡(luò)通信框架，將每個集群中Slave節(jié)點(diǎn)的CPU利用率和內(nèi)存利用率上傳給集群中Master節(jié)點(diǎn)；

所述監(jiān)控?cái)?shù)據(jù)存儲單元使用Redis內(nèi)存KV數(shù)據(jù)庫存儲性能數(shù)據(jù)，并配置LRU的模式，保存最近的數(shù)據(jù)，能夠加快監(jiān)控?cái)?shù)據(jù)的訪問；

所述API接口開放單元通過使用Web技術(shù)，開放出Http的接口，供集群通過HttpClient調(diào)用；

所述平滑加權(quán)輪詢?nèi)蝿?wù)調(diào)度模塊用于在初始調(diào)度時采用平滑加權(quán)輪詢?nèi)蝿?wù)調(diào)度算法達(dá)到集群負(fù)載均衡；所述采用平滑加權(quán)輪詢?nèi)蝿?wù)調(diào)度算法具體過程為：初始化并記錄每個節(jié)點(diǎn)的currentWeight，每一輪挑選出currentWeight最大的節(jié)點(diǎn)，作為選中的節(jié)點(diǎn)；同時把這個節(jié)點(diǎn)的currentWight減去總的effectiveWeiht，總的effectiveWeight等于每一輪被挑選節(jié)點(diǎn)的currentWeight之和，使得該節(jié)點(diǎn)的權(quán)重降低；

所述基于蟻群算法的任務(wù)調(diào)度模塊用于當(dāng)集群中整體資源使用達(dá)到規(guī)定閾值時，計(jì)算出全局最優(yōu)任務(wù)分配方案供后續(xù)的任務(wù)分配使用，當(dāng)集群資源降到閾值以下，則繼續(xù)采用所述平滑加權(quán)輪詢?nèi)蝿?wù)調(diào)度算法對任務(wù)進(jìn)行分配。

2.采用權(quán)利要求1所述的自適應(yīng)任務(wù)調(diào)度器進(jìn)行任務(wù)調(diào)度的方法，其特征在于包括如下步驟：

步驟1：獲取CPU利用率、內(nèi)存利用率、總內(nèi)存大小以及上傳性能數(shù)據(jù)；

步驟2：在Master節(jié)點(diǎn)持久化Slave節(jié)點(diǎn)傳遞過來的性能數(shù)據(jù)以及Master自身的性能數(shù)據(jù)，并且配置緩存淘汰策略，清理過時的數(shù)據(jù)；

步驟3：提供性能數(shù)據(jù)HTTP調(diào)用接口，把獲取集群性能的函數(shù)封裝成一個HTTP接口，并且這個HTTP接口供外部調(diào)用并提供容錯的處理；

步驟4：利用步驟3調(diào)用的性能數(shù)據(jù)作為參考依據(jù)，采用自適應(yīng)任務(wù)調(diào)度器進(jìn)行任務(wù)調(diào)度。

3.根據(jù)權(quán)利要求2所述的自適應(yīng)任務(wù)調(diào)度器進(jìn)行任務(wù)調(diào)度的方法，其特征在于所述步驟1的過程如下：

步驟1.1：Linux的實(shí)時性能監(jiān)控?cái)?shù)據(jù)存放在/proc文件夾下的性能記錄文件里；

步驟1.2：用正則表達(dá)式去解析步驟1.1所述文件夾下對應(yīng)空閑的時鐘周期idleCPU、總的時鐘周期totalCPU，利用idleCPU與totalCPU的比值即得到CPU利用率；

步驟1.3：用正則表達(dá)式去解析步驟1.1所述文件夾下的空閑內(nèi)存idleMem、總內(nèi)存totalMem，利用idleMem與totalMem的比值即得到內(nèi)存利用率；

步驟1.4：利用Netty高性能NIO框架在每個Slave節(jié)點(diǎn)和Master 節(jié)點(diǎn)建立Socket連接；

步驟1.5：Master節(jié)點(diǎn)向Slave節(jié)點(diǎn)發(fā)送Hello消息，表示Master節(jié)點(diǎn)希望能獲取到Salve節(jié)點(diǎn)的性能數(shù)據(jù)；

步驟1.6：Slave節(jié)點(diǎn)收到Hello消息后，上傳自己的性能數(shù)據(jù)給Master節(jié)點(diǎn)，于此同時，Slave節(jié)點(diǎn)與Master節(jié)點(diǎn)保持心跳聯(lián)系，避免建立的連接關(guān)閉。

4.根據(jù)權(quán)利要求2所述的自適應(yīng)任務(wù)調(diào)度器進(jìn)行任務(wù)調(diào)度的方法，其特征在于所述步驟2的過程如下：

步驟2.1：Master節(jié)點(diǎn)開啟一個定時任務(wù)，獲取到自身的CPU利用率、內(nèi)存利用率，并保持與Slave節(jié)點(diǎn)的發(fā)送時間周期一致；

步驟2.2：Master節(jié)點(diǎn)反序列化從Slave節(jié)點(diǎn)傳輸過來的數(shù)據(jù)，并為每個Slave節(jié)點(diǎn)構(gòu)建一個List存放到Redis里面；

步驟2.3：為了避免數(shù)據(jù)的冗余造成Redis壓力大，為Reids配置LRU的緩存淘汰策略，清理過時的數(shù)據(jù)。