[發(fā)明專利]自動調(diào)整隊列閾值的信息無感知Coflow調(diào)度系統(tǒng)及其調(diào)度方法

有效

• 申請?zhí)枺?/td>: 201910909026.0
• 申請日: 2019-09-25
• 公開（公告）號: CN110708259B
• 公開（公告）日: 2023-07-07
• 發(fā)明（設(shè)計）人: 汪碩;王速;黃韜;霍如;劉韻潔
• 申請（專利權(quán)）人: 江蘇省未來網(wǎng)絡(luò)創(chuàng)新研究院;南京優(yōu)速網(wǎng)絡(luò)科技有限公司
• 主分類號: H04L47/6275
• 分類號: H04L47/6275;G06N3/08;G06N3/045
• 代理公司: 江蘇圣典律師事務(wù)所 32237
• 代理人: 賀翔

本發(fā)明公開一種自動調(diào)整隊列閾值的信息無感知Coflow調(diào)度系統(tǒng)及其調(diào)度方法，調(diào)度系統(tǒng)包括終端主機(jī)上分布的監(jiān)控系統(tǒng)(Monitoring?System，MS)和中央控制器(Central?Controller，CC)；所述監(jiān)控系統(tǒng)用于在終端主機(jī)上收集Coflow的信息，所述中央控制器根據(jù)所述Coflow的信息調(diào)整降級閾值的集合，中央控制器觀察Coflow的調(diào)度結(jié)果作為強(qiáng)化學(xué)習(xí)算法的獎勵，并通過該獎勵來進(jìn)一步優(yōu)化隊列的降級閾值。

技術(shù)領(lǐng)域

本發(fā)明涉及一種自動調(diào)整隊列閾值的信息無感知Coflow調(diào)度系統(tǒng)及其調(diào)度方法，涉及通信技術(shù)領(lǐng)域。

背景技術(shù)

在數(shù)據(jù)中心網(wǎng)絡(luò)(Data?Center?network，DCN)中，MapReduce，Spark，Dryad等并行計算模式已經(jīng)被廣泛用于支持商業(yè)應(yīng)用和科學(xué)研究。這些不同的計算框架有一個共同特點：它們都在機(jī)器集群之間具有連續(xù)的計算階段，并且當(dāng)一個階段的所有數(shù)據(jù)都發(fā)送完成時，任務(wù)才能開始執(zhí)行下一個數(shù)據(jù)處理過程。具體的，Coflow被定義為兩組機(jī)器之間的一組流的集合。Coflow的一個例子是MapReduce中Mapper和Reducer之間的Shuffle過程。相關(guān)工作表明，Coflow的完成時間超過了總計算任務(wù)完成時間的33％，在某些情況下甚至高達(dá)50％。因此，優(yōu)化并行計算任務(wù)的數(shù)據(jù)傳輸，對提高DCN中應(yīng)用程序的性能非常重要。

現(xiàn)有的流調(diào)度機(jī)制可以分為信息感知(Information-Aware)的流調(diào)度機(jī)制和信息無感知(information-agnostic)的流調(diào)度機(jī)制。信息感知的流調(diào)度機(jī)制需要提前獲取流需要發(fā)送的總數(shù)據(jù)量和流的傳輸時延需求等信息，而信息無感知的流調(diào)度機(jī)制不需要獲取任何關(guān)于流的信息。信息感知的流調(diào)度機(jī)制雖然有很好的性能表現(xiàn)，但是由于在數(shù)據(jù)中心中很難提前獲得Coflow的詳細(xì)信息，因此這種機(jī)制難以在真實的數(shù)據(jù)中心中部署。為了增加流調(diào)度機(jī)制的可部署性，信息無感知的Coflow調(diào)度機(jī)制被提出來，在獲取Coflow信息或者只了解部分Coflow信息的情況下完成對Coflow的調(diào)度過程，例如Aalo機(jī)制。這些機(jī)制的核心思想是一種基于已發(fā)送字節(jié)的速率分配算法。具體的，它們將Coflow按照已發(fā)送數(shù)據(jù)量的多少放入不同的優(yōu)先級隊列中，并且Coflow在其發(fā)送的字節(jié)量超過預(yù)定義的門限值時被從最高優(yōu)先級逐漸降低到較低優(yōu)先級的隊列中。

信息無感知的Aalo機(jī)制模擬“最小Coflow最優(yōu)先”的策略，來對Coflow進(jìn)行調(diào)度。由于Coflow的大小不可準(zhǔn)確獲知，因此，Aalo根據(jù)各端口統(tǒng)計到的Coflow已經(jīng)發(fā)送完成的字節(jié)數(shù)的總和，來作為Coflow大小的一個估計值。基于對Coflow大小的估計，Aalo實現(xiàn)了一個多級的調(diào)度。Aalo機(jī)制設(shè)定了一些離散的閾值，當(dāng)Coflow發(fā)送的字節(jié)數(shù)超過預(yù)定義閾值時，將位于最高優(yōu)先級隊列的Coflow降級到較低優(yōu)先級隊列，整體來說，就是根據(jù)已經(jīng)發(fā)送的Coflow的大小將所有在發(fā)的Coflow分配到不同優(yōu)先級的隊列。

在分配帶寬的時候，Aalo按照每個隊列優(yōu)先級的權(quán)重給所有隊列分配帶寬，優(yōu)先級越高權(quán)重越大，這樣保證了在任何時刻所有的隊列都可以分配到帶寬，避免了隊頭阻塞以及某些Coflow處于無限長的等待狀態(tài)。另外為了保證工作保持性，如果某個隊列擁有多余的帶寬，就按照未飽和隊列的優(yōu)先級權(quán)重以“最大最小公平”算法進(jìn)行分配。然后每個隊列內(nèi)使用“先入先出”的原則調(diào)度Coflow，每個Coflow的子流采用“最大最小公平”算法調(diào)度。

在Aalo機(jī)制中，對于最優(yōu)的隊列優(yōu)先級閾值選取的問題仍然沒有被解決。Aalo中的降級閾值是靜態(tài)的，而且隊列閾值的合理性取決于操作人員預(yù)先選擇較好閾值的能力。當(dāng)預(yù)定義的閾值與數(shù)據(jù)中心中的流量不匹配時，coflow調(diào)度機(jī)制的性能將會大大降低。因此在不同規(guī)模的動態(tài)集群中，閾值的選取應(yīng)相應(yīng)的調(diào)整改變，但是Aalo機(jī)制還沒有提出合適的衡量標(biāo)準(zhǔn)來對不同集群的閾值進(jìn)行有效的設(shè)定。