[發明專利]基于深度強化學習的康復訓練處方自適應推薦方法及系統

有效

• 申請號: 202010670625.4
• 申請日: 2020-07-13
• 公開（公告）號: CN111816309B
• 公開（公告）日: 2022-02-01
• 發明（設計）人: 張騰宇;李增勇;徐功鋮;李艷梅;霍聰聰;謝暉
• 申請（專利權）人: 國家康復輔具研究中心
• 主分類號: G16H50/30
• 分類號: G16H50/30;G16H50/20;G16H20/30;G06N3/08;A61B5/1455;A61B5/11;A61B5/389;A61B5/22;A61B5/00
• 代理公司: 北京金咨知識產權代理有限公司 11612
• 代理人: 宋教花

1.一種基于深度強化學習的康復訓練處方自適應推薦方法，其中，該方法包括以下步驟：

1)收集患者基本信息以及病歷信息；

2)獲取患者不同腦區的腦皮層血氧數據，并且獲得患者患肢的運動數據和肌電數據；

3)利用腦血氧數據計算得到患者運動康復訓練過程中的包括不同腦區的激活程度、激活模式、腦區之間的功能連接、側偏性的腦功能評價指標，以動態評估患者的腦功能，并且利用加速度、角速度的運動數據計算得到包括關節活動度、運動平滑度、運動軌跡偏離度的運動功能評價指標，以動態評估患者的運動功能，利用表面肌電數據得到包括肌力、肌張力的肌肉功能指標；

4)將步驟3)得到的腦功能、運動功能和肌肉功能評價指標輸入到預先建立的深度強化學習模型，以訓練深度強化學習模型并自動生成康復訓練處方；

5)將步驟4)生成的康復訓練處方反饋給醫生和患者進行康復訓練，

其中，步驟4)中的深度強化學習模型的訓練包括根據患者的基本信息和病歷信息，以腦功能、運動功能和肌肉功能評價指標作為狀態，以康復訓練處方作為動作，以采用當前的康復訓練處方進行訓練后的功能改善情況作為獎賞，來訓練深度強化學習模型，并在訓練過程中引入康復訓練處方知識庫中的先驗知識，加速學習模型的訓練，其中康復訓練處方包括訓練任務、訓練方案、運動訓練模式、訓練頻率、訓練強度，并且其中預先建立包含大量患者病歷信息、功能評估指標與醫生開具的訓練處方映射關系的康復訓練處方知識庫，以病歷、功能指標和訓練處方的映射關系作為先驗知識，

步驟4)中的深度強化學習模型的訓練包括首先初始化經驗池和網絡權重，輸入病歷和各功能評價指標的狀態參數，并且如果當前狀態不能匹配到先驗知識庫中的特征狀態，則根據ε-greedy策略選取訓練處方；如果當期狀態能夠匹配到先驗知識庫中的特征狀態，則根據先驗動作Q值和預估動作Q值綜合判斷輸出訓練處方，根據采用該訓練處方后患者的功能改善情況得到獎賞值和下一步的狀態，并將這些信息存入經驗池，重復以上步驟訓練網絡，每次訓練后自動更新網絡權重以修正網絡。

2.根據權利要求1所述的基于深度強化學習的康復訓練處方自適應推薦方法，其中，將步驟3)得到的腦功能評價指標、運動功能評價指標以及肌肉功能評價指標輸入到訓練好的深度強化學習模型，經模型計算輸出各康復訓練處方中包含的不同類別或等級的Q值，將Q值最高的處方項組合，自動生成康復訓練處方，其中Q值為對應動作優劣的數值化表示。

3.根據權利要求1所述的基于深度強化學習的康復訓練處方自適應推薦方法，其中，利用步驟2)得到的腦血氧參數數據和肌電數據進一步分析得到患者訓練過程中的大腦和肌肉的主動參與度和疲勞程度，并且步驟4)中的深度強化學習模型能夠根據患者的主動參與度和疲勞程度來來調整訓練處方。

4.根據權利要求3所述的基于深度強化學習的康復訓練處方自適應推薦方法，其中，以不同腦區的激活程度和不同肌肉肌電信號的幅值信息反映大腦和肌肉的主動參與度，以肌電信號的頻域信息反映患者肌肉的疲勞程度。