[發明專利]一種神經電刺激模擬觸覺的建模和預測方法

有效

• 申請號: 202110219148.4
• 申請日: 2021-02-26
• 公開（公告）號: CN112965595B
• 公開（公告）日: 2023-09-05
• 發明（設計）人: 李鑫;姜偉峰;王智
• 申請（專利權）人: 清華大學深圳國際研究生院
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F30/27;G06N3/084;G06N3/092
• 代理公司: 深圳新創友知識產權代理有限公司 44223
• 代理人: 王震宇

1.一種神經電刺激模擬觸覺的建模和預測方法，其特征在于，包括如下步驟：

S1、通過向受試者的臂部和/或手部施加神經電刺激脈沖信號，測量受試者的肌肉因神經電刺激所產生的力的大小；

S2、根據多路神經電刺激脈沖信號和測量的力大小的相關數據集進行分析和處理，并利用相關數據集對神經電刺激模擬觸覺的輸入和輸出信息進行關聯模型的建模，以便通過所建立的模型進行神經電刺激模擬觸覺的預測，其中，進行所述關聯模型的建模包括通過Q-Learning算法或Deep?Q-Learning進行觸覺模擬生成策略的建立；

針對小容量的數據集，通過Q-Learning算法進行觸覺模擬生成策略的建立，具體包括如下步驟：

A1：用表Q-Table存儲在各個狀態下執行各種動作能夠帶來的獎勵reward；表中每個值定義為Q(s,a),表示在狀態s下執行動作a所獲取的reward；利用已有數據集構建Q-Table；其中S表示有限狀態state集合，其中s表示某個特定狀態受試者可變特征，所述可變特征為心率、電壓；A表示有限動作action集合，其中a表示某個特定動作神經電刺激特征，所述神經電刺激特征為頻率、波形、強度；Transition?Model?T(S,s,S′)～P_r(s′|s,a)表示根據當前狀態s和動作a預測下一個狀態s’，即從s采取行動a轉移到s’的概率，轉移到s’后，狀態合計S變為S’；Reward?R(s,a)表示agent采取某個動作后的即時獎勵Q-value:ΔF²＝(F-F_N)²，其中，F為測試者感受到的實際的力的大小，F_N為理論上讓測試者感受到的所模擬的力的大小；

A2：當受試者處于某狀態s時，根據Q-Table的值選擇動作a，即選擇某個特定動作神經電刺激特征，從表格獲取的reward為Q(s,a)，此時的reward為預期獲取的reward；執行了動作a并轉移到了下一個狀態s'時，能夠獲取一個即時的reward，記為r；真實的reward，記為Q'(s,a)，包括即時的reward和預期獲取的reward，且預期獲取的reward是不確定的，因此，設置折扣因子γ,則真實的reward表示如下：

A3：在獲得了真實的reward和預期獲取的reward，利用supervised?learning求兩者的誤差然后進行更新，更新的值是原來的Q(s,a)，更新規則如下：

Q(s,α)＝Q(s,α)+α(Q'(s,α)-Q(s,α))

其中α表示梯度下降規則的學習率；

A4：通過不斷對Q-Table進行更新，獲得針對每個測試者的Q-Table優化模型，實現觸覺模擬生成策略的建立；

針對大容量的數據集，通過Deep?Q-Learning算法進行觸覺模擬生成策略的建立，具體包括如下步驟：Deep?Q-Learning算法相對于Q-Learning算法多了Experience?Replay部分，先進行反復的迭代，并將迭代步驟獲取的樣本進行存儲，每一步就是一個樣本，每個樣本為一個四元組，包括：當前的狀態，當前狀態的各種有限動作action的Q值，當前采取的有限動作action獲得的即時回報，下一個狀態的各種有限動作action的Q值；獲得一個樣本后，根據上述的Q-Learning更新算法來更新網絡。

2.如權利要求1所述的建模和預測方法，其特征在于，γ的值設置為0到1之間，設為0時表示只關心即時reward，設為1時表示預期獲取的reward跟即時reward一樣重要。

3.如權利要求1至2任一項所述的建模和預測方法，其特征在于，測量受試者的肌肉因神經電刺激所產生的力的大小時，保持超過6Hz的采樣速度實時采取測力計數據。

4.如權利要求1至2任一項所述的建模和預測方法，其特征在于，所述神經電刺激信號為不超過500Hz、不超過10mA、占空比為0.4-0.8的脈沖信號，采用不少于兩路、不超過十路的神經電刺激信號。