[發明專利]一種支持AI引擎的接入網智能切片管控方法及裝置有效
| 申請號： | 202110498811.9 | 申請日： | 2021-05-08 |
| 公開（公告）號： | CN113316188B | 公開（公告）日： | 2022-05-17 |
| 發明（設計）人： | 張海君;王東;管婉青;盧同威 | 申請（專利權）人： | 北京科技大學 |
| 主分類號： | H04W28/02 | 分類號： | H04W28/02;H04W28/16;G06N3/08;G06N3/04;G06K9/62;H04W28/24 |
| 代理公司： | 北京市廣友專利事務所有限責任公司 11237 | 代理人： | 張仲波;付忠林 |
| 地址： | 100083*** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 支持 ai 引擎 接入 智能 切片 方法 裝置 | ||
1.一種支持AI引擎的接入網智能切片管控方法，其特征在于，包括：
測量用戶設備的流量細粒度，根據流量細粒度對用戶設備進行識別與分類；
基于對用戶設備的識別與分類結果，在接入網內創建和編排出一系列符合用戶設備要求的接入網切片，將用戶設備分配到對應的接入網切片內；并在用戶設備的數據流量類型發生變動時，實時改變用戶設備所屬的接入網切片；其中，具有不同數據流量特征的用戶設備被分配到不同的接入網切片中；
在接入網切片運行過程中，根據從基站收集到的信息，基于預設的深度強化學習算法，對接入網切片中的片間資源調度進行管控，從而實現接入網切片所使用的基站無線資源隨著接入網內用戶設備的接入情況進行自適應優化；
所述從基站收集到的信息包括：每個接入網切片的吞吐量信息、用戶設備的時延信息以及用戶設備的信道質量指示反饋信息；
所述預設的深度強化學習算法包括：雙重深度Q網絡算法DDQN、決斗深度Q網絡算法Dueling DQN，以及異步優勢Actor-Critic算法A3C；
所述在接入網切片運行過程中，根據從基站收集到的信息，基于預設的深度強化學習算法，對接入網切片中的片間資源調度進行管控，包括：
將不同網絡切片進行資源分配的過程轉化為馬爾可夫決策過程，將基站作為智能體，狀態空間為多個不同的網絡切片的當前數據吞吐速率rates，動作空間即時獎勵優化目標是在滿足速率需求的同時，使得每個不同的網絡切片與其目標數據吞吐速率之差的絕對值和最小；
其中，s(t)是t時刻的狀態空間集合，包含了該時刻每個網絡切片的吞吐速率；ratesi(t)表示t時刻第i個網絡切片的吞吐速率；a(t)是t時刻的動作空間集合，集合中每個元素的下標n表示該元素是時刻t第n個網絡切片要采取的動作，將分配給該網絡切片的資源塊數目增加一個；ri(t)表示第i個網絡切片在時刻t進行資源分配后獲得的獎勵函數，其中rbi表示第i個網絡切片所占用的資源塊數量，RATESi(t)表示第i個網絡切片速率要求；
在智能體的訓練和學習過程中，基于預設的深度強化學習算法進行學習，智能體根據當前環境下輸入的狀態，在動作空間中選取特定動作，不斷調整物理資源塊的分配；其中，所述特定動作是為不同切片分配的無線資源；
通過觀測系統回報以及系統狀態轉換，更新神經網絡參數及有關狀態信息來與環境進行交互，從而實現最大化長期累積回報；
利用智能體穩定收斂后輸出的動作對接入網切片進行無線資源的分配。
2.如權利要求1所述的支持AI引擎的接入網智能切片管控方法，其特征在于，所述在接入網內創建和編排出一系列符合用戶設備要求的接入網切片，將用戶設備分配到對應的接入網切片內；并在用戶設備的數據流量類型發生變動時，實時改變用戶設備所屬的接入網切片，包括：
在開源OpenAirInterface平臺的軟件定義無線電基站中的介質訪問控制層實現切片間調度，以在接入網內創建和編排出一系列符合用戶設備要求的接入網切片，將用戶設備分配到對應的接入網切片內；并在用戶設備的數據流量類型發生變動時，實時改變用戶設備所屬的接入網切片；并且將接入網切片的生命周期管理流程抽象為API管理接口，通過預設的通信協議對外提供管理接口。
3.如權利要求1所述的支持AI引擎的接入網智能切片管控方法，其特征在于，所述根據流量細粒度對用戶設備進行識別與分類，包括：
采用預設的卷積神經網絡根據流量細粒度對用戶設備進行識別與分類；
所述卷積神經網絡的訓練過程，包括：
將公共網絡收集到的網絡流量可視化為計算機的數字圖像，構建移動流量數據圖像集；然后使用所述移動流量數據圖像集對所述卷積神經網絡進行訓練。
4.一種支持AI引擎的接入網智能切片管控裝置，其特征在于，包括：
接入網切片實現模塊，用于測量用戶設備的流量細粒度，根據流量細粒度對用戶設備進行識別與分類；基于對用戶設備的識別與分類結果，在接入網內創建和編排出一系列符合用戶設備要求的接入網切片，將用戶設備分配到對應的接入網切片內；并在用戶設備的數據流量類型發生變動時，實時改變用戶設備所屬的接入網切片；其中，具有不同數據流量特征的用戶設備被分配到不同的接入網切片中；
智能管控模塊，用于在接入網切片運行過程中，根據從基站收集到的信息，基于預設的深度強化學習算法，對接入網切片中的片間資源調度進行管控，從而實現接入網切片所使用的基站無線資源隨著接入網內用戶設備的接入情況進行自適應優化；
所述從基站收集到的信息包括：每個接入網切片的吞吐量信息、用戶設備的時延信息以及用戶設備的信道質量指示反饋信息；
所述預設的深度強化學習算法包括：雙重深度Q網絡算法DDQN、決斗深度Q網絡算法Dueling DQN，以及異步優勢Actor-Critic算法A3C；
所述在接入網切片運行過程中，根據從基站收集到的信息，基于預設的深度強化學習算法，對接入網切片中的片間資源調度進行管控，包括：
將不同網絡切片進行資源分配的過程轉化為馬爾可夫決策過程，將基站作為智能體，狀態空間為多個不同的網絡切片的當前數據吞吐速率rates，動作空間即時獎勵優化目標是在滿足速率需求的同時，使得每個不同的網絡切片與其目標數據吞吐速率之差的絕對值和最小；
其中，s(t)是t時刻的狀態空間集合，包含了該時刻每個網絡切片的吞吐速率；ratesi(t)表示t時刻第i個網絡切片的吞吐速率；a(t)是t時刻的動作空間集合，集合中每個元素的下標n表示該元素是時刻t第n個網絡切片要采取的動作，將分配給該網絡切片的資源塊數目增加一個；ri(t)表示第i個網絡切片在時刻t進行資源分配后獲得的獎勵函數，其中rbi表示第i個網絡切片所占用的資源塊數量，RATESi(t)表示第i個網絡切片速率要求；
在智能體的訓練和學習過程中，基于預設的深度強化學習算法進行學習，智能體根據當前環境下輸入的狀態，在動作空間中選取特定動作，不斷調整物理資源塊的分配；其中，所述特定動作是為不同切片分配的無線資源；
通過觀測系統回報以及系統狀態轉換，更新神經網絡參數及有關狀態信息來與環境進行交互，從而實現最大化長期累積回報；
利用智能體穩定收斂后輸出的動作對接入網切片進行無線資源的分配。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于北京科技大學，未經北京科技大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202110498811.9/1.html，轉載請聲明來源鉆瓜專利網。
