[發明專利]基于深度強化學習的地下淺層起爆點定位方法

有效

• 申請號: 202010928937.0
• 申請日: 2020-09-07
• 公開（公告）號: CN112051611B
• 公開（公告）日: 2023-04-25
• 發明（設計）人: 李劍;李傳坤;曹鳳虎;韓焱;王黎明;韓星程
• 申請（專利權）人: 中北大學
• 主分類號: G01V1/30
• 分類號: G01V1/30
• 代理公司: 中國兵器工業集團公司專利中心 11011
• 代理人: 趙欣

1.一種基于深度強化學習的地下淺層起爆點定位方法，其特征在于，包括以下步驟：

S1、布設震動傳感器陣列；

S2、生成基于能量信息的學習樣本，具體如下：

S2.1獲取預設震源信號

在水平XOY坐標系的四個象限分別預設一發震源彈，利用所述的震動傳感器陣列獲取爆炸產生的震動信號；

S2.2對監測區域劃分網格

S2.3將每個震動傳感器分別作為虛擬震源進行逆向傳播，得到逆時反傳波場；

S2.4能量場逆時成像，得到瞬時三維能量場圖像，具體為：首先將n個傳感器進行分組，按照相似性，分為M組，每組由L個傳感器組成；其次，對傳感器組內對應的震動傳感器在地下任意位置處形成的逆時反傳波場進行自相關運算和線性振幅疊加運算，得到傳感器組內對應的自相關三維能量場圖像；再次，對傳感器組間的自相關三維能量場圖像進行互相關運算，最終得到每一時刻的互相關三維能量場圖像，消除逆時反傳產生的成像干擾；最后對每一時刻的互相關三維能量場圖像進行二次處理，得到瞬時三維能量場圖像，具體如下：在時間域內，按照信號的瞬時頻率特性設置時窗長度T，將時窗長度內的互相關三維能量場圖像進行線性疊加，疊加后的圖像加權融合后作為該時刻的瞬時三維能量場圖像，具體公式如下：

其中，Image(X_j,t)為地下空間瞬時三維能量場圖像，R_i(X_j,t)是第i個傳感器逆時傳播形成的信號，L為組內傳感器個數，M為傳感器組的個數，t₁，t₂為時窗的起始和終止時間，T為時窗長度；

不同時刻T是自適應變化的，在t時刻對應的時窗長度T用T(t)來表示，定義為：

其中，Ω(t)表示瞬時頻率，通過將R_i(X_j,t)進行時頻變換得到；

S3、設計由深度決策網絡、目標深度決策網絡、搜索策略模型、強化學習模塊組成的深度學習網絡；

其中深度決策網絡與目標深度決策網絡是同樣的網絡，深度決策網絡會把訓練參數拷貝到目標深度決策網絡，目標深度決策網絡用于估計目標價值，并將目標價值作為深度決策網絡標簽的一部分；

搜索策略模型用于把三維能量場圖看作震源位置的整體搜索區域，把中心位置對應的區域作為初始搜索框，將初始搜索框的中心點作為初始震源坐標；設置初始搜索框移動步長，定義9種有效動作，分別為搜索框向上移動(a)，搜索框向下移動(b)，搜索框向左移動(c)，搜索框向右移動(d)，搜索框向前移動(e)，搜索框向后移動(f)，搜索框收縮(g)，搜索框放大(h)，搜索區域確定并停止(I)；

強化學習模塊用于定義當前動作是積極的還是消極的，并在交互的過程中反饋一個立刻的獎勵函數值；

S4、深度學習網絡訓練完成后，直接在三維能量場圖設定一個初始搜索框，經過上采樣輸入訓練好的深度決策網絡中，輸出最大價值對應的動作，然后在三維能量場圖中，找到該動作對應的新區域，重新作為初始搜索框，并經上采樣再次輸入到深度決策網絡，以此類推，直到停止動作時，最后一個區域的中心點為預測震源位置。

2.根據權利要求1所述的一種基于深度強化學習的地下淺層起爆點定位方法，其特征在于，S1中，在監測區域中心位置選取一點作為坐標原點，建立直角坐標系，將n個傳感器，以坐標原點為中心，均勻布設于地表，形成等間距方形陣列，并獲取每個傳感器坐標信息X_i＝(x_i,y_i,z_i)，i＝1,2,3,...,n。

3.根據權利要求1所述的一種基于深度強化學習的地下淺層起爆點定位方法，其特征在于，S2.2中，根據所監測范圍，定義一個地下三維震源定位區域，并對監測區域進行網格劃分，將空間劃分為N個大小相同的立方體網格，得到每個網格坐標X_j＝(x_j,y_j,z_j)，j＝1,2,3,...,N。