[發明專利]無線通信裝置、無線通信系統以及無線通信程序

在審

• 申請號: 201880099516.2
• 申請日: 2018-11-29
• 公開（公告）號: CN113039834A
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 小林卓矢;澤健太郎;橫山陽介;山內尚久
• 申請（專利權）人: 三菱電機株式會社
• 主分類號: H04W40/12
• 分類號: H04W40/12;H04W84/18
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 金春實

1.一種無線通信裝置，具備：

行動價值取得部，取得將評價閾值的調整作為行動的強化學習中的行動價值，所述評價閾值是路徑選擇用的閾值；

通信路徑控制部，根據取得的行動價值，更新表示評價閾值和調整方法的組中的每個組的行動價值的行動價值表格，根據更新后的行動價值表格來調整評價閾值，使用調整后的評價閾值來選擇通信路徑；以及

無線通信部，經由選擇的通信路徑進行無線通信。

2.根據權利要求1所述的無線通信裝置，其中，

通信對方根據與所述無線通信裝置的無線通信的通信質量，計算所述強化學習中的報酬，發送計算出的報酬，

所述行動價值取得部接收被發送的報酬，根據接收的報酬來計算所述行動價值。

3.根據權利要求1所述的無線通信裝置，其中，

所述行動價值取得部根據與通信對方的無線通信的通信質量，計算所述強化學習中的報酬，根據接收的報酬來計算所述行動價值。

4.根據權利要求1至3中的任意一項所述的無線通信裝置，其中，

所述通信路徑控制部隨機地選擇是否進行基于所述更新后的行動價值表格的閾值調整，

在選擇了進行基于所述更新后的行動價值表格的閾值調整的情況下，所述通信路徑控制部根據所述更新后的行動價值表格來選擇調整方法，依照選擇的調整方法來調整所述評價閾值，

在選擇了不進行基于所述更新后的行動價值表格的閾值調整的情況下，所述通信路徑控制部隨機地選擇調整方法，依照選擇的調整方法來調整所述評價閾值。

5.根據權利要求1至4中的任意一項所述的無線通信裝置，其中，

具備學習結果確認部，該學習結果確認部根據具有所述無線通信裝置的無線通信系統中的通信質量，判定所述強化學習對所述無線通信系統造成的影響，在判定為所述強化學習對所述無線通信系統造成負的影響的情況下，使所述行動價值表格初始化。

6.根據權利要求1至5中的任意一項所述的無線通信裝置，其中，

所述無線通信裝置具備傳送速率控制部，

所述傳送速率控制部根據取得的行動價值，更新表示傳送速率和調整方法的組中的每個組的行動價值的行動價值表格，根據更新后的行動價值表格來調整傳送速率，

所述無線通信部以調整后的傳送速率進行無線通信。

7.一種無線通信系統，具有包括權利要求1至6中的任意一項所述的無線通信裝置的多個無線通信裝置。

8.一種無線通信程序，用于使計算機執行：

行動價值取得處理，取得將評價閾值的調整作為行動的強化學習中的行動價值，所述評價閾值是路徑選擇用的閾值；

通信路徑控制處理，根據取得的行動價值，更新表示評價閾值和調整方法的組中的每個組的行動價值的行動價值表格，根據更新后的行動價值表格來調整評價閾值，使用調整后的評價閾值來選擇通信路徑；以及

無線通信處理，經由選擇的通信路徑進行無線通信。

9.一種無線通信裝置，具備：

行動價值取得部，取得將為了更新通信路徑而進行通信的控制幀的發送間隔的調整作為行動的強化學習中的行動價值；

通信路徑控制部，根據取得的行動價值，更新表示發送間隔和調整方法的組中的每個組的行動價值的行動價值表格，根據更新后的行動價值表格來調整發送間隔；以及

無線通信部，以調整后的發送間隔來發送控制幀。

10.根據權利要求9所述的無線通信裝置，其中，

通信對方根據與所述無線通信裝置的無線通信的通信質量，計算所述強化學習中的報酬，發送計算出的報酬，

所述行動價值取得部接收被發送的報酬，根據接收的報酬來計算所述行動價值。