[發(fā)明專利]自動(dòng)調(diào)整隊(duì)列閾值的信息無感知Coflow調(diào)度系統(tǒng)及其調(diào)度方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910909026.0
• 申請(qǐng)日: 2019-09-25
• 公開（公告）號(hào): CN110708259B
• 公開（公告）日: 2023-07-07
• 發(fā)明（設(shè)計(jì)）人: 汪碩;王速;黃韜;霍如;劉韻潔
• 申請(qǐng)（專利權(quán)）人: 江蘇省未來網(wǎng)絡(luò)創(chuàng)新研究院;南京優(yōu)速網(wǎng)絡(luò)科技有限公司
• 主分類號(hào): H04L47/6275
• 分類號(hào): H04L47/6275;G06N3/08;G06N3/045
• 代理公司: 江蘇圣典律師事務(wù)所 32237
• 代理人: 賀翔

1.自動(dòng)調(diào)整隊(duì)列閾值的信息無感知Coflow調(diào)度系統(tǒng)，其特征在于，所述調(diào)度系統(tǒng)包括終端主機(jī)上分布的監(jiān)控系統(tǒng)MS和中央控制器CC；

所述監(jiān)控系統(tǒng)MS用于在終端主機(jī)上收集Coflow的信息，所述中央控制器CC根據(jù)所述Coflow的信息調(diào)整降級(jí)閾值的集合，中央控制器CC觀察Coflow的調(diào)度結(jié)果作為強(qiáng)化學(xué)習(xí)算法的獎(jiǎng)賞信號(hào)，并通過該獎(jiǎng)賞信號(hào)來進(jìn)一步優(yōu)化隊(duì)列的降級(jí)閾值，當(dāng)Coflow的已發(fā)送字節(jié)數(shù)超過降級(jí)閾值時(shí)，將Coflow的優(yōu)先級(jí)降級(jí)；

中央控制器CC利用DDPG算法訓(xùn)練神經(jīng)網(wǎng)絡(luò)，將策略表示為神經(jīng)網(wǎng)絡(luò)，將已完成的Coflow的集合作為輸入，并輸出一組隊(duì)列的降級(jí)閾值；

在每個(gè)時(shí)間步中，神經(jīng)網(wǎng)絡(luò)從終端主機(jī)接收最新的狀態(tài)s_t,并將元組(s_t+1，s_t，a_t，r_t)存儲(chǔ)在其緩沖區(qū)中，用于下一步驟的學(xué)習(xí)，其中s_t+1和r_t在下一個(gè)步驟中計(jì)算得到；

通過比較整個(gè)網(wǎng)絡(luò)在時(shí)間步t和時(shí)間步t-1的吞吐量，在時(shí)間步t時(shí)通過公式(1)得到獎(jiǎng)賞信號(hào)，

其中表示單位時(shí)間內(nèi)每個(gè)已完成的coflow?C傳輸?shù)目傋止?jié)數(shù)，C_E表示所有已完成的Coflow的集合；

中央控制器接收獎(jiǎng)賞信號(hào)并得到在時(shí)間步t生成的動(dòng)作的反饋，使用DDPG算法不斷訓(xùn)練actor-critic網(wǎng)絡(luò)，當(dāng)策略無變化時(shí)停止迭代，此時(shí)訓(xùn)練結(jié)束，得到調(diào)度機(jī)制的最優(yōu)解。

2.自動(dòng)調(diào)整隊(duì)列閾值的信息無感知Coflow調(diào)度方法，其特征在于，所述方法包括以下步驟：

步驟一，設(shè)定隊(duì)列閾值α_i、K個(gè)優(yōu)先級(jí)形成的隊(duì)列Q₁，Q₂，…，Q_k，所述隊(duì)列的優(yōu)先級(jí)從Q₁到Q_k逐漸降低；

步驟二，當(dāng)新的Coflow到達(dá)時(shí)，該Coflow進(jìn)入隊(duì)列的最高優(yōu)先級(jí)，當(dāng)Coflow的已發(fā)送字節(jié)數(shù)超過隊(duì)列閾值α_i時(shí)，將Coflow由Q_i降級(jí)到Q_i+1，直到該Coflow調(diào)度完成時(shí)，將該Coflow移出隊(duì)列；監(jiān)控系統(tǒng)MS收集已完成的Coflow的大小和流完成時(shí)間，并且在每個(gè)時(shí)間步t將收集的Coflow的大小和流完成時(shí)間信息報(bào)告給中央控制器CC；

步驟三，中央控制器CC利用DDPG算法訓(xùn)練模型，更新神經(jīng)網(wǎng)絡(luò)的參數(shù)；在每個(gè)時(shí)間步t，CC接收到監(jiān)控系統(tǒng)MS收集的Coflow的大小和流完成時(shí)間，輸出一組隊(duì)列的閾值{α₁，α₂，…，α_k}，所述中央控制器CC利用強(qiáng)化學(xué)習(xí)算法來自動(dòng)化做出決策；

利用DDPG算法訓(xùn)練神經(jīng)網(wǎng)絡(luò)，將策略表示為神經(jīng)網(wǎng)絡(luò)，將已完成的Coflow的集合作為輸入，并輸出一組隊(duì)列的降級(jí)閾值；

在每個(gè)時(shí)間步中，神經(jīng)網(wǎng)絡(luò)從終端主機(jī)接收最新的狀態(tài)s_t,并將元組(s_t+1，s_t，a_t，r_t)存儲(chǔ)在其緩沖區(qū)中，用于下一步驟的學(xué)習(xí)，其中s_t+1和r_t在下一個(gè)步驟中計(jì)算得到；

通過比較整個(gè)網(wǎng)絡(luò)在時(shí)間步t和時(shí)間步t-1的吞吐量，在時(shí)間步t時(shí)通過公式(1)得到獎(jiǎng)賞信號(hào)，

其中表示單位時(shí)間內(nèi)每個(gè)已完成的coflow?C傳輸?shù)目傋止?jié)數(shù)，C_E表示所有已完成的Coflow的集合；

中央控制器接收獎(jiǎng)賞信號(hào)并得到在時(shí)間步t生成的動(dòng)作的反饋，使用DDPG算法不斷訓(xùn)練actor-critic網(wǎng)絡(luò)，當(dāng)策略無變化時(shí)停止迭代，此時(shí)訓(xùn)練結(jié)束，得到調(diào)度機(jī)制的最優(yōu)解。

3.根據(jù)權(quán)利要求2所述的自動(dòng)調(diào)整隊(duì)列閾值的信息無感知Coflow調(diào)度方法，其特征在于，所述步驟三具體為：

步驟3.1，構(gòu)建狀態(tài)空間，令表示時(shí)間步t內(nèi)傳輸完成的Coflow，被表示為狀態(tài)空間表示為時(shí)間步t內(nèi)數(shù)據(jù)中心中所有已完成的Coflow的集合每個(gè)Coflow包含其五元組標(biāo)識(shí)：(N_f，S_f(min)，S_f(max)，S_f（ave)，S_C)，其中，N_f代表每個(gè)Coflow中子流的數(shù)量，其他四個(gè)屬性分別代表Coflow中子流流量的最大值，子流流量的最小值，子流流量的平均值以及Coflow的總字節(jié)數(shù)；

步驟3.2，時(shí)間步t，在接收到監(jiān)控系統(tǒng)MS收集的Coflow的信息后，中央控制器輸出一組隊(duì)列的降級(jí)閾值其中，表示在時(shí)間步t的第i個(gè)隊(duì)列的閾值；

步驟3.3，在使用降級(jí)閾值后，采集已完成的Coflow的平均完成時(shí)間來計(jì)算獎(jiǎng)賞信號(hào)，以最小化Coflow的完成時(shí)間作為目標(biāo)，設(shè)計(jì)獎(jiǎng)賞信號(hào)。