[發明專利]基于生成對抗模仿學習的邊緣節點動態資源分配方法

在審

• 申請號: 202210067473.8
• 申請日: 2022-01-20
• 公開（公告）號: CN114567560A
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 繆巍巍;張明軒;曾锃;全思平;楊君中;王興龍;張瑞;張震;滕昌志;李世豪;畢思博;張利;孫琦;趙然
• 申請（專利權）人: 國網江蘇省電力有限公司信息通信分公司;國網江蘇省電力有限公司;國網江蘇省電力有限公司泰州供電分公司
• 主分類號: H04L41/0894
• 分類號: H04L41/0894;H04L41/14;H04L67/1001;H04L67/60;G06N3/08
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 張倩倩

1.一種邊緣節點動態資源分配方法，其特征是，包括：

獲取邊緣節點上的邊緣環境信息，所述邊緣環境信息包括用戶節點的服務資源請求信息；

將所述邊緣環境信息輸入預先訓練的資源分配策略模型，得到資源分配策略模型輸出的資源分配方案；

根據所述資源分配方案向請求服務資源的各用戶節點分配應用服務資源；

其中，所述資源分配策略模型的訓練包括Q-learning強化學習訓練，強化學習訓練過程中，邊緣節點的資源分配策略為智能體，用戶節點的服務資源請求為環境，用戶節點在每一輪迭代中的服務資源請求通過預訓練的用戶請求策略模型生成；

所述用戶請求策略模型的訓練包括生成對抗訓練，生成對抗訓練過程中，用戶請求策略模型作為生成器網咯，與預構建的判別器網絡進行生成對抗訓練，用戶請求策略模型的輸入為用戶節點狀態信息，判別器網絡的輸入為用戶請求策略模型生成的模擬用戶服務資源請求信息以及歷史真實用戶請求信息。

2.根據權利要求1所述的方法，其特征是，所述服務資源請求信息包括服務資源請求類型以及所請求的負載量信息；

所述邊緣環境信息還包括用戶節點的狀態信息，邊緣節點的服務狀態信息、邊緣參數、負載量信息以及資源分配信息。

3.根據權利要求1所述的方法，其特征是，所述資源分配策略模型和用戶請求策略模型的訓練還包括模仿學習預訓練，包括：

構建虛擬邊緣環境模擬器，所述虛擬邊緣環境模擬器包括資源分配神經網絡和用戶請求神經網絡；

將歷史真實邊緣環境信息作為虛擬邊緣環境模擬器的輸入數據，對資源分配神經網絡和用戶請求神經網絡進行模仿學習訓練：利用所述資源分配神經網絡學習歷史真實邊緣環境信息中的資源分配策略，利用所述用戶請求神經網絡學習歷史真實緣環境信息中的用戶請求策略；

將訓練得到的資源分配神經網絡作為強化學習訓練前的資源分配策略模型，將訓練得到的用戶請求神經網絡作為生成對抗訓練前的用戶請求策略模型。

4.根據權利要求3所述的方法，其特征是，所述用戶請求模型的生成對抗訓練包括：

對應用戶請求策略模型構建判別器；

由用戶請求策略模型生成模擬用戶服務資源請求信息；

利用歷史真實邊緣環境信息中的歷史真實用戶服務資源請求信息和所述模擬用戶服務資源請求信息訓練判別器網絡，計算判別損失和生成損失，根據判別損失和生成損失分別優化判別器網絡和用戶請求策略模型的網絡參數；

交替進行用戶請求策略模型與判別器網絡的生成對抗訓練，直至判別器無法區分用戶請求策略模型生成的模擬用戶服務資源請求信息以及歷史真實用戶請求信息。

5.根據權利要求4所述的方法，其特征是，在強化學習訓練中，所述用戶請求策略模型根據當前時刻當前用戶節點狀態、任務以及邊緣節點提供的服務資源，確定下一輪次向邊緣節點請求的服務資源請求類型及服務負載量，輸出為用戶服務資源請求信息。

6.根據權利要求4所述的方法，其特征是，對所述資源分配策略模型進行強化學習訓練時以設定時段內用戶服務質量最優為目標函數。

7.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該計算機程序被處理器執行時，實現如權利要求1-6中任一所述的邊緣節點動態資源分配方法。