[發(fā)明專利]一種基于機器學(xué)習(xí)的主動式隊列管理方法生成器

有效

• 申請?zhí)枺?/td>: 201410622752.1
• 申請日: 2014-11-08
• 公開（公告）號: CN104283809B
• 公開（公告）日: 2017-07-04
• 發(fā)明（設(shè)計）人: 張棟;林新安
• 申請（專利權(quán)）人: 福州大學(xué)
• 主分類號: H04L12/861
• 分類號: H04L12/861;H04L12/835
• 代理公司: 福州元創(chuàng)專利商標(biāo)代理有限公司35100
• 代理人: 蔡學(xué)俊

技術(shù)領(lǐng)域

本發(fā)明涉及網(wǎng)絡(luò)擁塞控制，特別是一種基于機器學(xué)習(xí)的主動式隊列管理方法生成器。

背景技術(shù)

隨著近年來計算機網(wǎng)絡(luò)規(guī)模的急劇膨脹，特別是層出不窮的多媒體應(yīng)用對網(wǎng)絡(luò)服務(wù)質(zhì)量的要求越來越高，控制網(wǎng)絡(luò)擁塞，提高網(wǎng)絡(luò)服務(wù)質(zhì)量變得尤為重要。網(wǎng)絡(luò)擁塞控制主要由兩部分組成：一是端到端的傳輸協(xié)議，比如TCP協(xié)議，二是部署在中間節(jié)點的主動式隊列管理算法。在網(wǎng)絡(luò)傳輸過程中，中間節(jié)點的隊列過短，會導(dǎo)致新到的數(shù)據(jù)包無法入隊而被丟棄；過長，會導(dǎo)致排隊時延太大。同時，中間節(jié)點適時丟包可以作為一種擁塞信號反饋給發(fā)送端，使其降低發(fā)送速率，避免擁塞。因此，如何管理隊列是網(wǎng)絡(luò)擁塞控制的關(guān)鍵。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于機器學(xué)習(xí)的主動式隊列管理方法生成器，能自動為用戶定制的網(wǎng)絡(luò)生成高效的主動式隊列管理算法。

本發(fā)明采用以下技術(shù)方案實現(xiàn)：一種基于機器學(xué)習(xí)的主動式隊列管理方法生成器，其特征在于,包括以下步驟：步驟S01：根據(jù)用戶對網(wǎng)絡(luò)環(huán)境的模糊描述模擬出一仿真網(wǎng)絡(luò)場景；步驟S02：定義規(guī)則為狀態(tài)空間到動作的映射，將現(xiàn)有的規(guī)則集合初始化為一條規(guī)則；步驟S03：將所述規(guī)則集合作為隊列管理方法應(yīng)用到所述仿真網(wǎng)絡(luò)場景中，該隊列管理方法在所述仿真網(wǎng)絡(luò)場景運行固定時間后計算出規(guī)則集合反饋值；步驟S04：對所述規(guī)則集合內(nèi)的所有規(guī)則進行規(guī)則優(yōu)化后跳回步驟S03，直至無法得到更高的規(guī)則集合的反饋值后執(zhí)行步驟S05；步驟S05：選擇獲得最大規(guī)則反饋值的規(guī)則進行規(guī)則分裂，將該規(guī)則分裂成若干子規(guī)則；步驟S06：返回步驟S03，直至達(dá)到規(guī)定的迭代次數(shù)后退出，最終得到的規(guī)則集合為生成的隊列管理方法。

在本發(fā)明一實施例中，所述仿真網(wǎng)絡(luò)場景中的每個發(fā)送端部署了隨機開關(guān)的FTP，使得每個發(fā)送端隨機關(guān)閉一段時間后發(fā)送隨機數(shù)量的數(shù)據(jù)包，再隨機關(guān)閉，再隨機發(fā)送，如此循環(huán)。

在本發(fā)明一種實施例中，所述狀態(tài)空間為隊列長度的指數(shù)加權(quán)移動平均值和接收到包的時間間隔的指數(shù)加權(quán)移動平均值所組成的二維空間(,)；所述動作< k,b >表示對瞬時最大隊列長度的更新,更新公式為：，其中k,b為二維動作空間中的一個點（k,b）的組成。

在本發(fā)明另一實施例中，所述規(guī)則集合的數(shù)據(jù)結(jié)構(gòu)為樹形結(jié)構(gòu)。

在本發(fā)明一實施例中，步驟S03中所述規(guī)則集合的反饋值的定義為： ，其中是指全局的吞吐率， 是指每個包的平均端到端時延；所述規(guī)則集合的反饋值越大，表示其所構(gòu)成的隊列管理算法性能越好。

在本發(fā)明一實施例中，步驟S04中所述的規(guī)則優(yōu)化包括以下步驟：將需要進行優(yōu)化的規(guī)則的動作替換成其他動作，然后應(yīng)用到仿真網(wǎng)絡(luò)中，直至不能獲得更高的反饋值。

在本發(fā)明一實施例中，步驟S05中所述規(guī)則的反饋值定義為：，其中 表示該條規(guī)則在仿真運行時被用到的次數(shù)， 所有規(guī)則被用到的次數(shù)，R為所述規(guī)則集合的反饋值。

在本發(fā)明一實施例中，所述步驟S05中的規(guī)則分裂包括以下步驟：現(xiàn)有規(guī)則為父規(guī)則，將所述父規(guī)則的狀態(tài)空間在每個維度二分，得到若干個子空間；將所述子空間對應(yīng)到父規(guī)則的動作，這樣就產(chǎn)生了若干個不同狀態(tài)空間相同動作的子規(guī)則。

本發(fā)明利用用戶對網(wǎng)絡(luò)環(huán)境的模糊描述（網(wǎng)絡(luò)參數(shù)范圍），通過機器學(xué)習(xí)方法進行在該網(wǎng)絡(luò)環(huán)境下進行離線學(xué)習(xí)，以生成符合用戶定制需求的主動式隊列管理方法，該方法簡單，實現(xiàn)靈活，具有較強的實用性。本發(fā)明避免了對不同網(wǎng)絡(luò)場景手工設(shè)計主動隊式管理方法的繁瑣。本發(fā)明利用機器學(xué)習(xí)中強化學(xué)習(xí)的算法框架，通過不斷迭代，不斷優(yōu)化生成的隊列管理方法，使其具有高吞吐率，低延時的特點。

附圖說明

圖1是本發(fā)明算法框架結(jié)構(gòu)示意圖。

圖2是本發(fā)明算法流程圖。

圖3是本發(fā)明隊列管理方法的數(shù)據(jù)結(jié)構(gòu)圖。

具體實施方

圖1為本發(fā)明算法結(jié)構(gòu)示意圖。本發(fā)明基于機器學(xué)習(xí)的主動式隊列管理方法生成器，其利用用戶對網(wǎng)絡(luò)環(huán)境的模糊描述（網(wǎng)絡(luò)參數(shù)范圍），通過機器學(xué)習(xí)方法進行在該網(wǎng)絡(luò)環(huán)境下進行離線學(xué)習(xí)，以生成符合用戶定制需求的主動式隊列管理方法。