[發明專利]一種仿蛇搜救機器人適應性步態自主涌現方法

有效

• 申請號: 201811596803.2
• 申請日: 2018-12-26
• 公開（公告）號: CN109719721B
• 公開（公告）日: 2020-07-24
• 發明（設計）人: 曹政才;肖清;黃冉;胡標;張東;耿鵬;李俊寬
• 申請（專利權）人: 北京化工大學
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 沈波

1.一種仿蛇搜救機器人適應性步態自主涌現方法，其特征在于：包含以下步驟：

步驟1.1基于動態高斯參數空間探索機理，構建用于仿蛇搜救機器人步態生成的深度高斯策略網絡，以及用于評價控制策略優劣的深度高斯估值網絡；

步驟1.2建立仿蛇搜救機器人經驗共享體系，使用異步并行經驗共享池收集多個機器人從搜救任務獲取的信息、對應獎賞信號及其自身位姿關節狀態信息；

步驟1.3設計基于策略梯度估計的本地近似策略優化器，對步驟1.1中的深度高斯策略網絡進行訓練，得到局部優化的仿蛇搜救機器人步態控制策略；

步驟1.4根據步驟1.2中的異步經驗共享池與步驟1.3的本地近似策略優化器，構建仿蛇搜救機器人全局策略優化器，針對當前對應的搜救環境信息對多個機器人的本地策略優化進行全局優化調整，生成相應的最優適應性步態，完成整個仿蛇搜救機器人適應性步態自主涌現方法的設計；

步驟1.1的具體實施過程如下，

步驟1.1.1從參數為μ、σ、∈的高斯分布N中對深度神經網絡參數進行隨機采樣，其中μ和σ分別為高斯隨機過程的均值和方差，∈為對角單位矩陣；在單次策略更新過程中將網絡參數保持不變；經過高斯采樣的網絡參數表示為：ζ＝μ+σ×∈；相應的深度高斯網絡全連接層單個神經元輸出通過以下公式計算：y＝f(ζ^wx+ζ^b)，f(·)為對應神經網絡非線性激活函數，w和b分別表示神經網絡權值與偏置；

步驟1.1.2使用統計學中的相對熵原理對每次采樣的隨機參數進行限制；通過使用相對熵公式其中D_KL(·)代表相對熵距離，π_θ為對應神經網絡策略，計算每次采樣后深度高斯網絡的概率分布變化，當采樣前后的相對熵時，其中κ為預期的策略更新步長，將采樣的參數進行相應比例縮放后，作為最終的深度高斯網絡參數；

步驟1.1.3根據步驟1.1.2中生成的深度高斯網絡參數，分別構建深度高斯估值網絡和深度高斯策略網絡。

2.根據權利要求1所述的一種仿蛇搜救機器人適應性步態自主涌現方法，其特征在于：步驟1.2的具體實施步驟如下，

步驟1.2.1構建多仿蛇搜救機器人經驗共享協議；

步驟1.2.2根據步驟1.2.1中的經驗共享協議，建立異步并行經驗回溯共享池；對收集到的搜救環境信息、對應獎賞信號和仿蛇搜救機器人自身位姿關節數據進行實時處理，建立以經驗時間排序的有序數據訓練集，計算數據訓練集相關的統計信息；

步驟1.2.3根據步驟1.1.3中的深度高斯估值網絡，批量計算累計獎賞期望R，建立估值網絡訓練集；

步驟1.2.4使用步驟1.2.3得到的訓練集對深度高斯估值網絡進行隨機梯度下降訓練。

3.根據權利要求1所述的一種仿蛇搜救機器人適應性步態自主涌現方法，其特征在于：步驟1.3的實施過程如下，

步驟1.3.1根據當前深度高斯策略網絡參數，收集計算本地累計獎賞期望；

步驟1.3.2根據步驟1.1得到的深度高斯估值網絡，建立策略評價指標，通過計算策略優勢函數，其中γ為相應獎賞折扣因子，為時序差分學習損失函數；

步驟1.3.3計算經過單次迭代過后更新的深度高斯策略網絡相對熵

步驟1.3.4通過計算本地近似策略優化指標及相對于網絡參數的梯度估計值，其中β為策略更新相對熵距離懲罰因子，并將計算結果同步到異步經驗共享池中。

4.根據權利要求1所述的一種仿蛇搜救機器人適應性步態自主涌現方法，其特征在于：步驟1.4的實施過程如下，

步驟1.4.1根據步驟1.2中的異步經驗共享池收集多個仿蛇搜救機器人對當前搜救環境探索的測量信息及其對應的本地策略梯度估計值，通過以下公式進行全局策略優化：

其中η為平方相對熵懲罰因子；

步驟1.4.2根據步驟1.2中的經驗共享池收集累計獎勵期望，通過隨機梯度下降更新全局深度高斯估值網絡；

步驟1.4.3生成針對當前搜救環境的適應性步態，更新全局策略參數，通過隊列并行推送到各個仿蛇搜救機器人。