[發明專利]M2M通信中基于深度強化學習的資源調度方法及裝置

有效

• 申請號: 202011462754.0
• 申請日: 2020-12-09
• 公開（公告）號: CN112584361B
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 林霏;車逸辰;靳顯智;劉潔梅;王葉
• 申請（專利權）人: 齊魯工業大學
• 主分類號: H04W4/70
• 分類號: H04W4/70;H04W72/12;G06N3/04;G06N3/08
• 代理公司: 濟南格源知識產權代理有限公司 37306
• 代理人: 韓洪淼

本申請公開了M2M通信中基于深度強化學習的資源調度方法及裝置，用以解決M2M中系統資源分配不合理，容易產生網絡擁塞的問題。該方法建立TD?LTE系統模型，并確定所述系統當前的資源映射狀態；接收待處理的業務作業；根據所述當前的資源映射狀態，以及所述待處理的業務作業，通過預先訓練好的深度強化學習神經網絡，向所述待處理的業務作業分配資源；根據分配結果，對所述當前的資源映射狀態進行調整。本方法通過深度學習和強化學習的結合，在資源分配時，確定最合理的資源分配方式，提高資源調度效率，能夠解決由MTCD通信引起的網絡擁塞的問題。

技術領域

本申請涉及深度強化學習技術領域，尤其涉及一種基于深度強化學習的資源調度方法及裝置。

背景技術

蜂窩網絡的主要業務是機器類型通信(Machine Type Communication，MTC)。在MTC的機器對機器(M2M)通信中，當大量機器類型通信設備(Machine Type CommunicationDevice，MTCD)請求訪問網絡時，可能會存在過載的問題。因此，資源管理問題是蜂窩網絡通信中的基本問題。

隨著LTE的發展，用戶對數據傳輸速率和系統容量不斷增長的需求。M2M是網絡的核心技術之一，無線接入網的主要問題是過載和資源分配不合理，導致網絡擁塞。M2M設備已深入生活和工業生產中，提高了社會生產水平、工業生產效率同時降低了生產成本。M2M通信作為物聯網的關鍵技術，滿足各類物聯網業務需求的M2M通信系統的設計具有重要意義。移動蜂窩網絡具有高速率傳輸、大范圍覆蓋、高可靠性、易于部署等特點，是物聯網業務的理想載體，但是蜂窩網與物聯網的融合也面臨一定的挑戰。

M2M通信中的大量業務具有功耗敏感、小數據包隨機性傳輸、要求廣覆蓋的特點。例如，居民小區內的智能電表、智能水表，會周期性上報用戶的耗電量、耗水量；停車場內的車輛檢測系統，在車輛抵達和離開停車位時會上報車位的使用信息；等等。這類業務要求終端設備耗電量小，電池壽命長，能夠隨機性的頻繁上報少量數據，體現了蜂窩網與物聯網的融合。

但是，由于無線接入網過載和資源分配不合理的問題，使得這類業務更容易引起控制信道信令堵塞的問題，產生網絡擁塞。

發明內容

本申請實施例提供一種M2M通信中基于深度強化學習的資源調度方法及裝置，用以解決M2M中系統資源分配不合理，容易產生網絡擁塞的問題。

本申請實施例提供的一種M2M通信中基于深度強化學習的資源調度方法，包括：

建立TD-LTE系統模型，確定所述系統當前的資源映射狀態，并將所述當前的資源映射狀態轉化為圖像；

接收待處理的業務作業；

根據所述當前的資源映射狀態，以及所述待處理的業務作業，通過預先訓練好的深度強化學習神經網絡，向所述待處理的業務作業分配資源；

根據分配結果，對所述當前的資源映射狀態進行調整。

在一個示例中，所述深度強化學習神經網絡通過以下方式獲得：以卷積神經網絡作為強化學習中的值函數；將資源映射狀態圖與資源分配動作輸入卷積神經網絡中，提取所述資源映射狀態圖的特征，確定所述資源映射狀態圖、資源分配動作與對應的Q值之間的相關性。

在一個示例中，根據所述當前的資源映射狀態，以及所述待處理的業務作業，通過預先訓練好的深度強化學習神經網絡，向所述待處理的業務作業分配資源，具體包括：將所述當前的資源映射狀態，以及所述待處理的業務作業輸入深度強化學習神經網絡中，從所有可執行的資源分配動作中，確定對應Q值最高的可執行的資源分配動作；根據所述Q值最高的可執行的資源分配動作，向所述待處理的業務作業分配資源；記錄所述資源映射狀態、可執行的資源分配行為和對應的獎勵信息，并計算對應的累積獎勵。