[發(fā)明專利]一種基于深度強化學習的外骨骼主助力參數(shù)的優(yōu)化方法

有效

• 申請?zhí)枺?/td>: 202011383180.8
• 申請日: 2020-12-01
• 公開（公告）號: CN112494282B
• 公開（公告）日: 2023-05-02
• 發(fā)明（設(shè)計）人: 孫磊;陳鑫;董恩增;佟吉剛;李云飛;曾德添;龔欣翔;李成輝
• 申請（專利權(quán)）人: 天津理工大學
• 主分類號: A61H3/00
• 分類號: A61H3/00;G06N3/092;G06N3/045;G06Q10/04;G16H20/30
• 代理公司: 天津市君硯知識產(chǎn)權(quán)代理有限公司 12239
• 代理人: 程昊

本發(fā)明公開了一種基于深度強化學習的外骨骼主助力參數(shù)的優(yōu)化方法，采用復合正弦曲線形式外骨骼助力曲線方程確定外骨骼主助力參數(shù)，利用深度強化學習中的深度確定性策略梯度方法用以解決柔性外骨骼連續(xù)性控制問題，搭建策略網(wǎng)絡(luò)和評價網(wǎng)絡(luò)，并實時采集并處理外骨骼穿戴者髖關(guān)節(jié)屈曲角信息，用于產(chǎn)生參數(shù)訓練的數(shù)據(jù)集，進行外骨骼主助力參數(shù)的訓練優(yōu)化，實現(xiàn)外骨骼主助力參數(shù)的自適應優(yōu)化。

(一)技術(shù)領(lǐng)域：

本發(fā)明涉及機器人技術(shù)領(lǐng)域，具體涉及一種基于深度強化學習的外骨骼主助力參數(shù)的優(yōu)化方法。

(二)背景技術(shù)：

對于傳統(tǒng)的下肢康復訓練，由專業(yè)醫(yī)生指導，并且在護士或家庭成員的協(xié)助下完成，該種方式耗時長、成效低、勞動強度大。為減輕人力負擔，實現(xiàn)高效康復服務(wù)，步態(tài)康復柔性外骨骼得到了廣泛應用。

步態(tài)康復柔性外骨骼結(jié)合了智能機器人技術(shù)和康復治療醫(yī)學理論，可以代替專業(yè)醫(yī)生，幫助患者完成下肢康復訓練。它的出現(xiàn)為下肢功能障礙者的康復治療提供了新的選擇，彌補了下肢功能障礙者臨床治療的不足。

步態(tài)康復柔性外骨骼的治療方法是通過一條柔性帶將患者的下肢與外骨骼固定在一起。外骨骼驅(qū)動病人的下肢完成各種設(shè)定的康復訓練動作，刺激人體下肢關(guān)節(jié)和肌肉的神經(jīng)控制系統(tǒng)，從而實現(xiàn)恢復病人下肢運動功能。步態(tài)康復柔性外骨骼的服務(wù)對象決定了其需要良好的舒適性與自適應性，能夠給患者帶來較好的康復體驗以及能夠適用于不同人群的下肢功能障礙者。因此，如何實現(xiàn)外骨骼深度強化學習的助力參數(shù)優(yōu)化為步態(tài)康復柔性外骨骼舒適可靠的核心技術(shù)之一。

傳統(tǒng)的下肢康復訓練，由專業(yè)醫(yī)生指導，并且在護士或家庭成員的協(xié)助下完成，該種方式耗時長、成效低、勞動強度大。在下肢功能障礙者康復治療中，需要對患者進行一系列的連續(xù)動作的康復訓練，由于患者的下肢情況各不相同，需要對患者精準助力，助力太小會引起患者腿部還未得到指定姿態(tài)便結(jié)束此動作，導致下肢康復訓練效果差；助力過大會引起患者腿部拉伸過大，容易導致患者的二次損傷與不必要的傷害。

傳統(tǒng)助力方法中的PID(比例-積分-微分控制)控制方法，根據(jù)系統(tǒng)誤差，利用比例、積分、微分三項的線性組合計算出控制量進行助力。雖然PID算法由其原理簡單、參數(shù)易調(diào)整等優(yōu)點，在當今控制中仍被廣泛應用，但是在某些情況下會造成預期外的結(jié)果。如當期望值與實際值相差過大時，電機會產(chǎn)生過高的速度以達到預期值，這樣通常會導致過沖和振蕩現(xiàn)象，對于步態(tài)康復柔性外骨骼，這種情況是相當危險的。而且該方法不能實現(xiàn)助力參數(shù)優(yōu)化，不僅效率低下而且參數(shù)仍存在較大的誤差。

針對現(xiàn)有技術(shù)的不足，目前亟需一種基于深度強化學習的外骨骼主助力參數(shù)優(yōu)化方法以應對步態(tài)康復柔性外骨骼連續(xù)助力問題。

(三)發(fā)明內(nèi)容：

本發(fā)明的目的在于提供一種基于深度強化學習的外骨骼主助力參數(shù)優(yōu)化的方法，能夠克服現(xiàn)有技術(shù)的不足，是一種原理簡單，技術(shù)容易實現(xiàn)的參數(shù)優(yōu)化方法，且可應對步態(tài)康復柔性外骨骼連續(xù)助力問題，從而可有效解決外骨骼的個性化匹配問題。

本發(fā)明技術(shù)方案：一種基于深度強化學習的外骨骼主助力參數(shù)優(yōu)化的方法，其特征在于它包括以下步驟：

(1)確定優(yōu)化參數(shù)；

根據(jù)外骨骼助力曲線方程確定優(yōu)化參數(shù)，該曲線方程為公式(1)所示復合正弦曲線形式：

式中，F(xiàn)_assist為實時助力大小，A為擺動相助力幅值，t^*是當前時刻到助力開始時刻之間時間，T_b為當前步態(tài)周期的擺動相周期，α是為外骨骼主助力參數(shù)，作為公式(1)的波形控制參數(shù)，起改變助力峰值位置的作用，取值范圍為-1≤α≤1；

所述擺動相助力幅值A(chǔ)由助力元器件的額定輸出值決定，且在助力元器件額定工作下，擺動相助力幅值為已知值，可人為設(shè)定。