[發明專利]基于遷移學習的下行MISO-OFDMA協作傳輸方法

有效

• 申請號: 202210072264.2
• 申請日: 2022-01-21
• 公開（公告）號: CN114389784B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 徐友云;孫高翔;王小明;蔣銳;李大鵬
• 申請（專利權）人: 南京郵電大學
• 主分類號: H04L5/00
• 分類號: H04L5/00;H04B7/06;H04W72/044;H04W72/0453
• 代理公司: 南京正聯知識產權代理有限公司 32243
• 代理人: 王素琴

本發明是一種基于遷移學習的下行MISO?OFDMA協作傳輸方法，包括步驟1：定義下行MISO?OFDMA系統的關鍵參數；步驟2：利用深度Q網絡在當前環境下訓練當前智能體，為每個智能體構建一個深度Q網絡即為多智能體深度Q網絡，解決波束協作和資源分配問題；步驟3：以不同方案改變當前環境并提出一種遷移學習框架，所述遷移學習框架在新環境下通過步驟2中訓練好的智能體的知識和新智能體的經驗來訓練新智能體；步驟4：動態調整波束成形協作和資源分配策略，以最大化所有用戶的和速率。本發明可以有效地提升系統性能，加快神經網絡的收斂速度，使新智能體更快更有效地適應新的網絡環境。

技術領域

本發明屬于無線通信領域，具體的說是涉及一種基于遷移強化學習的下行MISO-OFDMA系統協作傳輸方法。

背景技術

近年來，由于海量接入和低時延通信需求的不斷增長，第五代(5G)技術中的資源分配問題引起了廣泛關注。作為無線通信系統的主要接入方式，正交頻分多址(OFDMA)將傳輸帶寬劃分為一系列正交的、互不重疊的子載波集，在同一時隙內將不同的子載波集分配給不同的用戶，實現多址接入。OFDMA技術根據信道增益自適應地分配資源，極大地提高了系統性能。此外，波束成形技術近年來也受到高度重視，因為波束成形技術可以提高下行傳輸中多天線的性能。波束成形協作可以減輕蜂窩網絡下行鏈路中的同信道干擾，從而有利于通信資源的分配。

目前，已經有大量的工作研究OFDMA系統下的波束協作和資源分配問題。然而，這些工作采用的模型驅動的方法需要準確的信道狀態信息(CSI)，因此難以建立數學模型。作為一種無模型的方法，深度Q網絡(DQN)大大降低了數學建模的難度。它引入了一種試錯機制，通過與環境交互來優化輸出策略。已經有一些工作利用DQN方法解決了OFDMA系統中的資源分配問題。然而，據我們所知，在現有的文獻中還沒有對OFDMA系統中基于DQN的波束協作進行研究；另一方面，在無線通信系統中，網絡配置可能一直在變化。因此，當網絡配置發生變化時，如何在新的網絡環境下快速有效地訓練新的網絡是一個具有挑戰性的問題。

近年來，遷移學習作為一種新的學習框架應運而生。遷移學習是指一種學習對另一種學習的影響，或習得的經驗對完成其他活動的影響。遷移學習將一個領域(即源域)的知識遷移到另外一個領域(即目標域)，使得目標域能夠取得更好的學習效果。比如說，用來辨識汽車的知識(或者是模型)也可以被用來提升識別卡車的能力。此外，遷移學習被認為是解決經驗驅動的網絡環境下的重構問題的一種很有前途的技術。具體來說就是，當網絡環境發生變化時，遷移學習可以有效地幫助新的智能體在新的網絡環境下進行訓練。