[發明專利]機械臂的控制方法、系統、電子設備及存儲介質

有效

• 申請號: 202110281523.8
• 申請日: 2021-03-16
• 公開（公告）號: CN113146618B
• 公開（公告）日: 2022-07-01
• 發明（設計）人: 陳海波;賴忠遠
• 申請（專利權）人: 深蘭科技（上海）有限公司
• 主分類號: B25J9/16
• 分類號: B25J9/16;G06F3/01;G06N3/04
• 代理公司: 蘇州領躍知識產權代理有限公司 32370
• 代理人: 王寧

1.一種機械臂的控制方法，其特征在于，所述控制方法包括：

通過腦電信號采集設備從用戶采集腦電信號；

將所采集到的腦電信號轉化為能夠被計算機識別的信號，然后對該信號進行預處理以提取特征信號，并且基于預先由強化學習模型進行的學習結果進行特征分類，并且將特征分類結果通過指令發給機械臂；

機械臂根據所述指令進行對應的操作；以及

用戶判斷機械臂的所述操作是否正確，并且將判斷結果反饋至所述強化學習模型以進行訓練，并且更新學習結果；

預先由強化學習模型進行的學習結果是通過如下步驟獲得的：

通過馬爾可夫決策過程對強化學習問題進行建模，用于使代理在與環境的交互過程中獲得最大的累積獎勵，

基于代理的要求輸入獎勵信息和代理相對于環境的狀態的狀態變量，從而使得代理選擇適當的操作，以產生相應的獎勵值；

所述將判斷結果反饋至所述強化學習模型以進行訓練包括：將用戶進行的判斷結果直接從腦電信號中采集并且輸入到機械臂的訓練環中，產生相對的反饋，并且機械臂在所述反饋的基礎上會記錄獎勵值，然后重復此過程并訓練所述機械臂。

2.根據權利要求1所述的控制方法，其特征在于，腦電信號采集設備從用戶的采集腦電信號包括：

非侵入式采集，其通過將多個EEG電極片緊貼在用戶的頭皮的不同位置，用來用戶的腦電信號，

侵入式采集，其是通過直接將電極植入到大腦皮層，用來用戶的腦電信號，或者

半侵入式采集，其將腦機接口植入到顱腔內，但是在大腦皮層之外。

3.根據權利要求1所述的控制方法，其特征在于，將所采集到的腦電信號轉化為能夠被計算機識別的信號包括將腦電信號采集設備采集的腦電信號進行放大、濾波、A/D轉換。

4.根據權利要求1所述的控制方法，其特征在于，通過如下步驟輸出所述指令：腦電信號采集設備采集SSVEP信號，腦電識別分類模塊對采集到的SSVEP信號通過預處理后，采用基于多導同步指數的頻率識別算法，進行SSVEP的分類識別，并輸出控制命令。

5.根據權利要求1所述的控制方法，其特征在于，所述預先由強化學習模型進行的學習包括利用卷積神經網絡和循環神經網絡對腦電數據進行解碼，應用卷積神經網絡來表征空間特征，應用循環神經網絡中的長短記憶網絡、來表征時間特征。

6.根據權利要求1所述的控制方法，其特征在于，訓練所述機械臂包括：使用用戶的反饋訓練獎勵預測器，獎勵預測器進一步訓練機械臂，使得機械臂最大化來自預測器的獎勵。

7.一種機械臂的控制系統，其特征在于，所述系統包括：

腦電信號采集設備，其從用戶采集腦電信號；

機械臂控制模塊，其將所采集到的腦電信號轉化為能夠被計算機識別的信號，然后對該信號進行預處理以提取特征信號，并且基于預先存儲的由強化學習模塊中的強化學習模型進行的學習結果進行特征分類，并且將特征分類結果通過指令發給機械臂，使得機械臂根據所述指令進行對應的操作；以及

反饋模塊，其使得在所述機械臂進行操作時，用戶判斷機械臂的所述操作是否正確，并且將判斷結果反饋至機械控制模塊中的所述強化學習模型以進行訓練，并且更新學習結果；

所述強化學習模塊通過如下步驟進行強化學習：

通過馬爾可夫決策過程對強化學習問題進行建模，用于使機械臂在與環境的交互過程中獲得最大的累積獎勵，

基于機械臂的要求輸入獎勵信息和代理相對于環境的狀態的狀態變量，從而使得機械臂選擇適當的操作，以產生相應的獎勵值；

所述反饋模塊將用戶進行的判斷結果直接從腦電信號中采集并且輸入到機械臂的訓練環中，產生相對的反饋，并且機械臂在所述反饋的基礎上會記錄獎勵值，然后重復此過程并訓練所述機械臂。