[發明專利]基于深度強化學習的艦載機保障作業人員調度方法

有效

• 申請號: 202111009089.4
• 申請日: 2021-08-31
• 公開（公告）號: CN113706023B
• 公開（公告）日: 2022-07-12
• 發明（設計）人: 欒添添;付強;孫明曉;原張杰;張文玉;王萬鵬;胡占永;謝春旺
• 申請（專利權）人: 哈爾濱理工大學
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06N3/08;G06K9/62;G06F30/27;G06F30/15
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于深度強化學習的艦載機保障作業人員調度方法，其特征在于，包括以下步驟：

步驟1：建立艦載機保障作業流程的馬爾科夫決策過程模型，為智能體訓練搭建環境；

步驟2：根據艦載機保障作業特點，確定智能體、智能體觀測空間與智能體動作空間；

步驟3：構建基于保障作業需求模型的獎勵函數，并將執行后一工序智能體的Q值引入執行前一工序智能體的獎勵函數中，進一步設計深度強化學習算法；

步驟4：將智能體投入訓練，直至準確生成調度指令，得到完成訓練的智能體；

步驟5：將完成訓練的智能體應用于場景中引導保障人員進行保障作業，此時智能體可將真實數據存儲進經驗池，以便空閑時間可再次學習；

所述步驟3的獎勵函數確定過程如下：

獎勵函數需滿足兩個條件：

(1)避免環境變為稀疏獎勵環境，即多步都無獎勵，導致智能體學習困難；

(2)獎勵值需符合實際邏輯；

故可寫出獎勵函數限制：

式中，r_sta表示開始保障工序的即時獎勵；r_nop表示無動作的即時獎勵；r_mis表示誤動作的即時獎勵；r_dis為因移動距離得到的獎勵；j表示艦載機；J表示艦載機集合；i表示工序i；b表示工序i的緊前工序；p_j,b表示艦載機j的保障工序i的緊前工序是否完成，若完成則為1，否則為0；p_j,i表示艦載機j的保障工序i是否執行完畢，若是則為1，否則為0；b_j,i表示艦載機j是否正在進行保障工序i，若是則為1，否則為0；s_i表示保障小組是否正在進行保障作業，若是則為1，否則為0；k為權重系數，是超參數；s_m表示航母是否機動，若是則為1，否則為0；r_emerg表示開始處理緊急情況的獎勵；

將各個智能體通過自身動作獲取的獎勵與執行該智能體緊后工序的智能體的Q值的加權和，作為各個智能體單步獲取的即時獎勵，Q值即智能體的動作價值函數，表示智能體未來折扣獎勵之和的期望值：

式中，r_i為執行工序i所有保障小組單步所獲獎勵總和；μ、λ都為權重系數，且都是超參數；Q_h表示執行工序i緊后工序h的小組的Q值；r_i,n為執行工序i編號為n的保障小組單步由自身動作導致環境轉移獲得的即時獎勵，其表達式如下：

式中，m_sta表示開始工序的次數；m_mis表示誤動作的次數；m_nop表示無動作的次數；m_emerg表示開始處理緊急情況次數；Z為整數集；

所述步驟3的深度強化學習算法設計過程如下：

考慮該調度問題可承受容錯率低，在基于誤差和獎勵的雙指標優先經驗回放基礎上增加一個誤操作數指標，構成三指標優先經驗回放機制；再根據訓練過程各階段特性，對各指標設置相關參數，并根據訓練次數進行自適應調整，使學習目的性更強，增加收斂效果以達到預期訓練效果；各經驗優先度計算如式4所示：

P_j＝(a(n)·Q_j+b(n)·loss_j+c(n)·mis_j)λ^t (4)

式中，P_j表示經驗j的優先度；a(n),b(n),c(n)為權重系數，它們隨訓練步數n的變化而變化；Q_j為經驗j的Q值；loss_j為經驗j的誤差；mis_j為經驗j的誤操作數；λ為重復選中經驗的損失率，其值介于0～1，為超參數；t為經驗j被選中的次數；

若每次訓練都計算整個經驗池經驗的優先度，則會耗費太多算力，且效率不高，故應用時，先采用隨機抽樣抽取n·k條經驗，再計算出其優先度，最終選出優先度最高的n條經驗進行學習。