[發明專利]一種基于深度強化學習的機具三維定位方法

在審

• 申請號: 202111347415.2
• 申請日: 2021-11-15
• 公開（公告）號: CN114219849A
• 公開（公告）日: 2022-03-22
• 發明（設計）人: 朱瑞凱;盧自強;孫凱;李德生;詹濤;焦仙宏;申洲;要糧安;王春;楊愛晟;杜娟;付興旺;謝強;宋宏圖;張珂
• 申請（專利權）人: 國網山西省電力公司晉中供電公司;華北電力大學（保定）
• 主分類號: G06T7/70
• 分類號: G06T7/70;G06T7/80;G06T17/00
• 代理公司: 北京卓嵐智財知識產權代理事務所(特殊普通合伙) 11624
• 代理人: 郭智

本發明公開了一種基于深度強化學習的機具三維定位方法，即在三維空間中，降低移動機具定位誤差的深度強化學習方法。所述方法包括：根據三維定位幾何模型計算出移動臺位置特征信息；根據已得到的位置特征信息構建馬爾科夫過程；根據深度強化學習框架計算出損失函數值和相應的Q函數；根據馬爾科夫過程及損失函數和Q函數訓練出基于三維定位的深度Q網絡。

技術領域

本發明屬于移動通信領域，尤其涉及一種基于深度強化學習的機具三維定位方法。

背景技術

隨著經濟的發展，電網的建設發展很快，在日常的輸變電線路運行安全維護工作中，會使用大量的機具。針對目前機具的實時坐標定位的迫切需求，實現一套可用于實時環境監控、緊急任務救援以及高效任務調度的室外定位系統顯得尤為重要。

深度強化學習(DRL)研究的一個經典場景是迷宮導航。此外，基于DRL的導航定位研究已經從計算視覺擴展到現實應用中。為了更好的將基于DRL的導航定位應用在未來5G的發展中，基于DRL無線定位的研究是非常有意義的。

發明內容

為了降低電網機具的定位誤差，本發明公開了一種基于深度強化學習的機具三維定位方法。

本發明實施例提供了如下技術方案：

一種基于深度強化學習的機具三維定位方法，所述方法包括：

深度強化學習的三維定位方法，其特征在于，包括如下步驟：

步驟A，根據三維定位幾何模型計算出移動臺位置特征信息；

步驟B，根據已得到的位置特征信息構建馬爾科夫過程；

步驟C，根據深度強化學習框架計算出損失函數值和相應的Q函數；

步驟D，根據馬爾科夫過程及損失函數和Q函數訓練出基于三維定位的深度Q網絡。

其中，步驟A具體包括：

A1，根據三維定位的幾何模型，假設基站的三維坐標可表示為P_B＝(x_B，y_B，z_B)^T，障礙物的三維坐標為P_S，n＝(x_S，n，y_S，n，z_S，n)^T，移動臺的三維坐標科表示為P_M＝(x_M，y_M，z_M)^T，其中x，y，z為三維空間坐標。基站到目標的傳播路徑長度由d_n表示。它由兩部分組成，即基站到障礙物的路徑長度為r_n和從障礙物到移動臺的路徑長度為(d_n-r_n)。

其中，步驟B具體包括：

B1，根據已有的三維無線定位位置信息，MDP中的狀態空間s_t由目標位置特征(到達角)AOA、(離開角)AOD、(到達時間)TOA組成，TOA可由傳播路徑長度測量得出，傳播路徑的長度由d_n表示，而第n個非視距(NLOS)傳播路徑的AOD表示為第n個NLOS傳播路徑的AOA表示為其中當時，

B2，MDP的動作空間a_t則由目標根據狀態s_t做出采取行動的動作組成，包括保持在同一個網格上，向北、南、西、東、西北、東北、西南、東南方向移動一個網格；

B3，MDP的獎勵函數設置為