[發明專利]基于Q學習的通信網絡任務資源調度方法

有效

• 申請號: 202110271286.7
• 申請日: 2021-03-12
• 公開（公告）號: CN113163447B
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 桂勁松;劉堯
• 申請（專利權）人: 中南大學
• 主分類號: H04W28/08
• 分類號: H04W28/08;H04W72/12
• 代理公司: 長沙永星專利商標事務所(普通合伙) 43001
• 代理人: 周詠;米中業

本發明公開了一種基于Q學習的通信網絡任務資源調度方法，包括獲取通信網絡的實時通信狀態和通信參數并初始化R表；通信網絡的每一個任務調度節點進行自身Q表的訓練；通信網絡的每一個任務調度節點進行自身Q表的決策；通信網絡根據每一個任務調度節點在步驟S3得到的Q表進行后續的任務資源調度；通信網絡的每一個任務調度節點進行自身R表的更新；重復上述步驟進行持續的通信網絡任務資源調度。本發明利用Q學習的特點，為在具有不確定性的高動態網絡環境下建模任務存活率與資源利用率之間的相互影響關系問題找到了突破口，通過創新性的算法研究和實施，實現了復雜情況下的通信網絡的任務資源調度和平衡，而且可靠性高、穩定性好且簡單方便。

技術領域

本發明屬于分散計算領域，具體涉及一種基于Q學習的通信網絡任務資源調度方法。

背景技術

在惡劣無線通信環境下，特別是面向網絡吞吐量嚴重受限而用戶應用又要求近乎實時響應的環境下，為解決計算任務復雜多變與節點資源嚴重受限的矛盾，基于分散計算的應用模式是一種值得探究的解決方案。在分散計算環境下，為保障已被調度的任務能在惡劣的戰場環境下生存下來，順利完成如軍事應用等工作，需要研究跨節點計算任務的抗毀接替模式。在節點計算任務的抗毀接替模式中，一個關鍵問題是需要在確定被調度的任務數量時，明確任務完成期內資源的可用量與任務數量的合理匹配關系。若偏離合理值太遠，要么資源利用率太低，要么任務存活率不高，這都會加劇惡劣的戰場環境下資源嚴重受限與任務量巨大之間的矛盾。

在計算節點物理損毀情況下，要使其上執行的任務仍能得以存活，一個簡單有效的手段是將該任務重調度到其它計算點上執行。因此，在一個特定時期內，被調度執行的總任務數與可用的資源總量的匹配關系直接影響這批任務的存活率。從充分利用資源的角度考慮被調度的任務數，可能會使同樣的資源服務更多的任務，但計算節點物理損毀導致任務執行失敗的概率會更大(如因缺乏抗毀接替資源而導致)，這時任務存活率并不會很高。反之，若過于降低同期被調度的任務總數，則計算節點物理損毀導致任務執行失敗的概率將會降低很多。這主要是因重調度時有更多可選擇的接替計算節點。然而，同期的資源利用率將會很低。這時，盡管任務存活率可能很高，但以嚴重降低資源利用率換得的任務高存活率沒有意義，尤其在資源受限的戰場環境下。因此，需要探討任務存活率與資源利用率之間的相互影響關系，力求找到兩者之間的一個合理平衡點。

但是，目前針對兩者之間的合理平衡點的研究和技術方案，往往都可靠性不搞，而且方法極為復雜。

發明內容

本發明的目的在于提供一種可靠性高、穩定性好且簡單方便的基于Q學習的通信網絡任務資源調度方法。

本發明提供的這種基于Q學習的通信網絡任務資源調度方法，包括如下步驟：

S1.獲取通信網絡的實時通信狀態和通信參數，并初始化R表；

S2.通信網絡的每一個任務調度節點進行自身Q表的訓練；

S3.通信網絡的每一個任務調度節點進行自身Q表的決策；

S4.通信網絡根據每一個任務調度節點在步驟S3得到的Q表進行后續的任務資源調度；

S5.通信網絡的每一個任務調度節點進行自身R表的更新；

S6.重復步驟S2～S5，進行持續的通信網絡任務資源調度。

步驟S1所述的初始化R表，具體為采用如下步驟進行初始化：

前提：每個初始狀態中資源項的值不超過所有節點初始化資源量之和；

Ⅰ.對于每一個均重復進行如下步驟Ⅱ～步驟Ⅷ；其中為任務調度節點i在時刻0的狀態；S_i為任務調度節點i的狀態空間集合；

Ⅱ.對于每一個均重復進行如下步驟Ⅲ～步驟Ⅷ；為任務調度節點i在時刻0采取的行動；A_i為任務調度節點i的行動集合；