[發明專利]用于使用機器學習來設計波束網格的裝置和方法

在審

• 申請號: 201880097501.2
• 申請日: 2018-09-13
• 公開（公告）號: CN112703682A
• 公開（公告）日: 2021-04-23
• 發明（設計）人: D·納亞卡;C·蒂賈斯韋;S·卡爾亞納森達拉姆;R·阿格拉沃爾;徐華;A·貝德卡;V·卡普德維埃爾勒;C·彌海勒素;B·科瓦西;A·費基
• 申請（專利權）人: 諾基亞通信公司
• 主分類號: H04B7/06
• 分類號: H04B7/06;H04B7/0456;G06N20/00
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 酆迅;張曦

用于確定波束網格(GoB)的系統、方法、裝置和計算機程序產品被提供。一種方法可以包括：收集用于訓練神經網絡的網絡數據，使用所收集的數據來訓練神經網絡以學習評估將給定波束包括到波束網格(GoB)中的收益的非折扣累積獎勵Q，迭代地應用經訓練的神經網絡來選擇至少一個最優波束以包括在波束網格(GoB)中，以及從波束網格(GoB)中選擇一個或多個波束以向用戶設備進行發射或從用戶設備接收傳輸。

技術領域

一些示例實施例總體上可以涉及移動或無線電信系統，諸如長期演進(LTE)或第五代(5G)無線電接入技術或新無線電(NR)接入技術、或其他通信系統。例如，某些實施例可以涉及大規模多輸入多輸出(MIMO)和通過機器學習被優化的波束網格(GoB)。

背景技術

移動或無線電信系統的示例可以包括通用移動電信系統(UMTS)地面無線電接入網(UTRAN)、長期演進(LTE)演進型UTRAN(E-UTRAN)、高級LTE(LTE-A)、MulteFire、LTE-APro、和/或第五代(5G)無線電接入技術或新無線電(NR)接入技術。第五代(5G)無線系統是指下一代(NG)無線電系統和網絡架構。5G主要構建在新無線電(NR)上，但是5G(或NG)網絡也可以構建在E-UTRA無線電上。據估計，NR將提供10-20Gbit/s或更高量級的比特率，并且將至少支持增強型移動寬帶(eMBB)和超可靠低時延通信(URLLC)以及大規模機器類型通信(mMTC)。NR被預期為實現極度寬帶和超魯棒低時延連接性和大規模聯網，以支持物聯網(IoT)。隨著IoT和機器到機器(M2M)通信變得更加普遍，將存在對于如下網絡的增長的需求，這些網絡滿足更低功率、低數據速率和長電池壽命的需求。要指出的是，在5G中，可以向用戶設備提供無線電接入功能的節點(也即，類似于E-UTRAN中的節點B或LTE中的eNB)當構建在NR無線電上時可以被命名為gNB，并且當構建在E-UTRA無線電上時可以被命名為NG-eNB。

發明內容

一種實施例針對一種裝置，該裝置可以包括至少一個處理器和包括計算機程序代碼的至少一個存儲器。至少一個存儲器和計算機程序代碼被配置為，與至少一個處理器一起，使該裝置至少：收集用于訓練神經網絡的網絡數據；使用所收集的數據來訓練神經網絡以學習非折扣累積獎勵(Q)，非折扣累積獎勵(Q)評估將給定波束包括到波束網格(GoB)中的收益；應用經訓練的神經網絡來選擇至少一個波束以包括在波束網格(GoB)中以優化性能度量，其中經訓練的神經網絡被重復應用，直到用于波束網格的所需要的數目的波束被選擇；以及從波束網格(GoB)中選擇一個或多個波束，以向用戶設備進行發射或從用戶設備接收傳輸。

另一實施例針對一種方法，該方法可以包括：收集用于訓練神經網絡的網絡數據；使用所收集的數據來訓練神經網絡以學習非折扣累積獎勵(Q)，非折扣累積獎勵(Q)評估將給定波束包括到波束網格(GoB)中的收益；應用經訓練的神經網絡來選擇至少一個波束以包括在波束網格(GoB)中以優化性能度量，其中經訓練的神經網絡被重復應用，直到用于波束網格的所需要的數目的波束被選擇；以及從波束網格(GoB)中選擇一個或多個波束，以向用戶設備進行發射或從用戶設備接收傳輸。

另一實施例針對一種裝置，該裝置可以包括：收集部件，用于收集用于訓練神經網絡的網絡數據；訓練部件，用于使用所收集的數據來訓練神經網絡以學習非折扣累積獎勵(Q)，非折扣累積獎勵(Q)評估將給定波束包括到波束網格(GoB)中的收益；應用部件，用于應用經訓練的神經網絡來選擇至少一個波束以包括在波束網格(GoB)中以優化性能度量，其中經訓練的神經網絡被重復應用，直到用于波束網格的所需要的數目的波束被選擇；以及選擇部件，用于從波束網格(GoB)中選擇一個或多個波束，以向用戶設備進行發射或從用戶設備接收傳輸。