[發明專利]一種基于深度強化學習和阻抗控制的柔順人機接觸方法

有效

• 申請號: 202210484043.6
• 申請日: 2022-05-05
• 公開（公告）號: CN114789444B
• 公開（公告）日: 2022-12-16
• 發明（設計）人: 舒明雷;張鐵譯;陳超;王若同;劉照陽
• 申請（專利權）人: 山東省人工智能研究院;齊魯工業大學
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 濟南泉城專利商標事務所 37218
• 代理人: 支文彬

1.一種基于深度強化學習和阻抗控制的柔順人機接觸方法，其特征在于，包括如下步驟：

a)根據柔順人機接觸任務，以機械臂底座建立機械臂坐標系，獲得執行器的初始位置坐標{P_x,P_y,P_z}及目標部位在機械臂坐標系下的位置坐標{O_x,O_y,O_z}，P_x為執行器的X軸坐標，P_y為執行器的Y軸坐標，P_z為執行器的Z軸坐標，O_x為目標部位的X軸坐標，O_y為目標部位的Y軸坐標，O_z為目標部位的Z軸坐標；

b)通過深度強化學習算法建立狀態空間S和動作空間A，S＝{P_x′,P_y′,P_z′,O_x,O_y,O_z,F_x,F_y,F_z}，式中F_x為執行器的X軸方向上的接觸力分力，F_y為執行器的Y軸方向上的接觸力分力，F_z為執行器的Z軸方向上的接觸力分力，P_x′為執行器的實時位置的X軸坐標，P_y′為執行器的實時位置的Y軸坐標，P_z′為執行器的實時位置的Z軸坐標；

c)對機械臂位姿進行初始化，初始化后執行器的實時位置坐標為{P′_x,P′_y,P′_z}，得到執行器初始位置與目標部位之間的距離d_i及執行器當前位置與目標部位之間的距離d_c；

d)通過公式r₁＝(d_i-d_c)/d_i計算得到基于距離的獎勵函數r₁；

e)設定柔順人機在接觸任務中，執行器與目標接觸的接觸力在m-nN之內；

f)在距離身體距離為γ處設置虛擬接觸面；

g)通過公式l＝|P′_z-O_z|計算得到是否接觸到虛擬接觸面的判定條件值l；

h)當l＞γ時，判定執行器未接觸到虛擬接觸面，狀態空間F_x,F_y,F_z均為0；

i)當0＜l≤γ時，判定執行器接觸到虛擬接觸面，此時通過阻抗控制得到虛擬接觸力F_v，F_v＝(F′_x,F′_y,F′_z)^T，F′_x為執行器的X軸方向上的虛擬接觸力分力，F_y′為執行器的Y軸方向上的虛擬接觸力分力，F_z′為執行器的Z軸方向上的虛擬接觸力分力，T為轉置，將F_x′、F_y′及F_z′分別等同于狀態空間S中的F_x、F_y及F_z；

j)當執行器與身體發生接觸時，真實接觸力F_e≠0，此時停止對執行器的控制；步驟b)中通過公式A＝{a_x,a_y,a_z}建立動作空間，a_x為執行器在機械臂坐標系下的X軸方向上的偏移量，a_y為執行器在機械臂坐標系下的Y軸方向上的偏移量，a_z為執行器在機械臂坐標系下的Z軸方向上的偏移量；

步驟i)中通過公式計算得到虛擬接觸力F_v，式中M_d、B_d、K_d均為阻抗參數，為執行器的速度，為執行器的加速度，λ為常數，I為向量，I＝[0,0,1]^T，Δx為執行器與目標部位之間的距離差，