[發明專利]一種空間機器人機械臂的控制方法

有效

• 申請號: 202110666012.8
• 申請日: 2021-06-16
• 公開（公告）號: CN113400307B
• 公開（公告）日: 2022-10-18
• 發明（設計）人: 張濤;王圣杰;劉磊;張海博;胡海東;周玉新
• 申請（專利權）人: 清華大學;北京控制工程研究所
• 主分類號: B25J9/16
• 分類號: B25J9/16;B25J17/02;B25J18/00
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 羅文群

1.一種空間機器人機械臂的控制方法，其特征在于，首先獲取空間機器人基座相機采集的圖像，設定用于機械臂控制過程中的獎勵函數；構建機械臂控制策略網絡、狀態動作價值網絡和狀態價值網絡，通過向控制策略網絡輸入圖像，輸出動作信息控制機械臂，并多次交互積累交互信息對形成經驗池；根據最大熵強化學習構建各個網絡訓練所需的目標函數，利用經驗池中的交互信息對使用梯度下降算法對各個網絡參數進行訓練，得到訓練后的機械臂控制策略網絡，輸入圖像信息，輸出動作信息控制機械臂，

其中，所述控制方法的具體步驟如下：

(1)根據馬爾可夫決策過程建模機械臂的控制，獲取空間機器人基座相機采集的圖像，并定義t時刻的圖像為狀態信息s_t，形式為W*H*3的矩陣，其中3個維度包括了RGB三色的通道，每個維度的圖像包換W*H個像素，其中W為圖像的寬度，H為圖像的高度；將空間機器人關節的角速度a_t作為動作信息，t代表采樣時刻；

(2)設定一個用于機械臂控制過程中的獎勵函數r_t(s_t，a_t)，完成馬爾可夫決策過程的建模；獎勵函數r_t(s_t，a_t)的表達式如下：

r_t(s_t，a_t)＝-[β₁d²+ln(β₂d²+∈_d)+β₃||a_t-a_t-1||²]

其中，p_e為空間機器人機械臂的末端位置，p_t為空間機器人機械臂的目標位置，d為歐式距離，d＝||p_e-p_t||，β₁＝10^-3，β₂＝1，β₃＝10^-1，∈_d的作用是防止ln函數出現奇異，∈_d＝0.001，上標T為矩陣轉置；

(3)構建一個機械臂控制策略網絡其中代表機械臂控制策略網絡的參數，向機械臂控制策略網絡輸入圖像s_t，以得到動作信息角速度a_t，具體包括以下步驟：

(3-1)機械臂控制策略網絡的第一層為卷積神經網絡，卷積神經網絡的卷積核權重W₁為一個G_w1*L_w1*M_w1矩陣，其中，G_w1為該卷積核的通道數，L_w1為該卷積核的寬度，M_w1為該卷積核的高度；

(3-2)機械臂控制策略網絡的第二層為批次歸一化層，批次歸一化層將上一層中得到的多層特征層分別做歸一化處理，歸一化參數的數量與特征層的層數線性正相關；

(3-3)機械臂控制策略網絡的第三層為最大值池化層，最大值池化層的濾波器P₁為2*2的矩陣；

(3-4)機械臂控制策略網絡的第四層為卷積神經網絡，卷積神經網絡的卷積核權重W₂為一個G_w2*L_w2*M_w2矩陣，其中，G_w2為該卷積核的通道數，L_w2為該卷積核的寬度，M_w2為該卷積核的高度；

(3-5)機械臂控制策略網絡的第五層為批次歸一化層，批次歸一化層將上一層中得到的多層特征層分別做歸一化的處理，歸一化參數的數量和特征層的層數線性正相關；

(3-6)機械臂控制策略網絡的第六層為最大值池化層，最大值池化層的濾波器P₂為2*2的矩陣

(3-7)機械臂控制策略網絡的第七層為卷積神經網絡，卷積神經網絡的卷積核權重W₃為一個G_w3*L_w3*M_w3矩陣，其中，G_w3為該卷積核的通道數，L_w3為該卷積核的寬度，M_w3為該卷積核的高度；

(3-8)機械臂控制策略網絡的第八層為批次歸一化層，批次歸一化層將上一層中的到的多層特征層分別做歸一化的處理，歸一化參數的數量和特征層的層數有關；

(3-9)機械臂控制策略網絡的第九層為最大值池化層，最大值池化層的濾波器P₃為2*2的矩陣；

(3-10)機械臂控制策略網絡的第十層為全連接神經網絡，輸入的神經元個數為上一層輸出的特征層展平后的特征數量F₉，輸出的神經元個數為F₁₀，神經元權重為W₁₀；

(3-11)機械臂控制策略網絡的第十一層為全連接神經網絡，輸入的神經元個數為上一層輸出的F₁₀，輸出的神經元個數為F₁₁，神經元權重為W₁₁；

(3-12)機械臂控制策略網絡的第十二層為全連接神經網絡，輸入的神經元個數為上一層輸出的F₁₁，輸出的神經元個數為高斯分布的均值和方差神經元權重為W₁₂；

(3-13)根據步驟(3-1)～(3-12)，得到機械臂控制策略網絡

(3-14)向步驟(3-13)的機械臂控制策略網絡輸入步驟(1)采集的RGB三通道圖像s_t，機械臂控制策略網絡輸出得到高斯分布的均值μ_t和方差∑_t，均值μ_t和方差∑_t組合成空間機器人關節的角速度a_t的概率分布通過采樣得到機械臂關節的角速度a_t；

(4)根據馬爾可夫決策過程原理，構建一個機械臂狀態價值網絡V_ψ，其中ψ代表機械臂狀態價值網絡的參數，通過輸入圖像s_t得到狀態價值v_t，具體包含以下步驟：

(4-1)重復步驟(3-1)-步驟(3-11)，構建機械臂狀態價值網絡V_ψ的第一層到第十一層的網絡結構；

(4-2)機械臂狀態價值網絡V_ψ的第十二層為全連接神經網絡，輸入的神經元個數為上一層輸出的F₁₁，輸出的神經元為狀態的價值函數v_t，神經元權重為W₁₂；

(4-3)根據步驟(4-1)-步驟(4-2)，得到機械臂狀態價值網絡V_ψ；

(5)根據馬爾可夫決策過程原理，構建一個機械臂狀態動作價值網絡Q_θ，其中θ代表機械臂狀態動作價值網絡的參數，向機械臂狀態動作價值網絡Q_θ輸入圖像s_t和關節角速度a_t，得到狀態動作價值q_t的映射關系，具體包含以下步驟：

(5-1)重復步驟(3-1)-步驟(3-10)，構建機械臂狀態動作價值網絡Q_θ的第一層到第十層的網絡結構；

(5-2)機械臂狀態動作價值網絡Q_θ的第十一層為全連接神經網絡，輸入的神經元個數為上一層輸出的F₁₀和空間機器人的關節角速度a_t合并后的數量，輸出的神經元個數為F₁₁，神經元權重為W₁₁；

(5-3)機械臂狀態動作價值網絡Q_θ的第十二層為全連接神經網絡，輸入的神經元個數為上一層輸出的F₁₁，輸出的神經元為狀態動作價值函數q_t，神經元權重為W₁₂；

(5-4)根據步驟(5-1)-步驟(5-3)，得到機械臂狀態動作價值網絡Q_θ；

(6)向步驟(3)的機械臂控制策略網絡輸入步驟(1)采樣時刻t采集的圖像s_t，輸出為機械臂的關節角速度a_t，將該關節角速度a_t輸出到一個比例微分控制器C中，比例微分控制器C輸出得到關節扭矩，實現對機器人的控制；將采樣時刻t采集的圖像s_t和關節跟蹤期望的關節角速度a_t輸入到步驟(2)的獎勵函數，得到獎勵值r_t，并且得到t+1時刻的圖像s_t+1，得到t時刻的交互信息對E_t＝＜s_t，a_t，r_t，s_t+1＞；

(7)遍歷T時段內采集的所有圖像s_t＝1：T，重復上述步驟(6)，得到多組交互信息對，多組交互信息對構成一個經驗回放池D，分別向步驟(4)的機械臂狀態價值網絡V_ψ和步驟(5)的機械臂狀態動作價值網絡Q_θ輸入不同采樣時刻采集的圖像s_t，得到狀態價值v_ψ(s_t)和狀態動作價值q_t(s_t，a_t)；

(8)根據最大熵強化學習，建立優化目標，使策略的累積獎勵和熵最大化：

其中，表示信息熵，α表示學習中策略的最大化隨機程 度；

(9)采用最小化貝爾曼殘差對機械臂狀態動作價值網絡Q_θ的參數進行訓練，得到機械臂狀態動作價值網絡Q_θ在最優參數J_Q(θ)的表達式：

(10)通過最小化平方損失值，對機械臂狀態價值網絡V_ψ的參數訓練，得到機械臂狀態價值網絡V_ψ的最優參數J_V(ψ)表達式：

(11)通過最小化期望的相對熵散度，對策略函數進行訓練，得到策略函數優化參數表達式：

其中，α表示學習中策略的最大化隨機程 度；

(12)以步驟(9)～步驟(11)得到的訓練目標，使用梯度下降法，訓練步驟(3)～步驟(5)的機械臂控制策略網絡狀態動作價值網絡Q_θ和狀態價值網絡V_ψ，完成對網絡的訓練；

(13)實時采集搭載在空間機器人基座上的相機得到的圖像s_t，將實時采集的圖像s_t輸入到步驟(12)的機械臂控制策略網絡輸出得到采樣時刻t下的機械臂關節角速度a_t，實現對空間機器人機械臂的控制，并實現在T時段內軌跡規劃任務。