[發(fā)明專(zhuān)利]基于遷移學(xué)習(xí)的運(yùn)動(dòng)想象腦機(jī)接口操作人員反饋訓(xùn)練方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202211514179.3
• 申請(qǐng)日: 2022-11-29
• 公開(kāi)（公告）號(hào): CN115729353A
• 公開(kāi)（公告）日: 2023-03-03
• 發(fā)明（設(shè)計(jì)）人: 謝松云;呂艷霞;段緒;謝辛舟;鄭大路
• 申請(qǐng)（專(zhuān)利權(quán)）人: 西北工業(yè)大學(xué)
• 主分類(lèi)號(hào): G06F3/01
• 分類(lèi)號(hào): G06F3/01
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明公開(kāi)了一種基于遷移學(xué)習(xí)的運(yùn)動(dòng)想象腦機(jī)接口操作人員反饋訓(xùn)練方法，涉及腦機(jī)接口研究領(lǐng)域。本發(fā)明針對(duì)傳統(tǒng)訓(xùn)練方法訓(xùn)練效率低、不能充分利用訓(xùn)練過(guò)程中不同時(shí)期采集的腦電信號(hào)為操作人員提供更多的反饋信息的問(wèn)題，提出了將遷移學(xué)習(xí)應(yīng)用于運(yùn)動(dòng)想象腦機(jī)接口操作人員的訓(xùn)練中，對(duì)不同訓(xùn)練階段采集的任務(wù)態(tài)腦電信號(hào)進(jìn)行遷移學(xué)習(xí)，使其同時(shí)給操作人員提供反饋信息，操作人員可以觀察到自己在不同訓(xùn)練階段的表現(xiàn)，不斷改進(jìn)自己的想象策略。本發(fā)明為運(yùn)動(dòng)想象腦機(jī)接口操作人員的訓(xùn)練提供了一種新的思路和方案。

技術(shù)領(lǐng)域

本發(fā)明屬于腦機(jī)接口研究領(lǐng)域，特別涉及一種運(yùn)動(dòng)想象腦機(jī)接口操作人員反饋訓(xùn)練的方法。

背景技術(shù)

近年來(lái)，腦機(jī)接口(Brain-computer Interface，BCI)技術(shù)已經(jīng)成為研究的熱點(diǎn)之一。目前的腦機(jī)接口中，運(yùn)動(dòng)想象(Motor Imagery,MI)是普遍采用的一種非侵入式腦機(jī)接口誘發(fā)方式。運(yùn)動(dòng)想象是指操作人員想象自己身體部位的運(yùn)動(dòng)而不實(shí)際移動(dòng)該身體部位的認(rèn)知過(guò)程，不同的運(yùn)動(dòng)意圖在大腦腦區(qū)產(chǎn)生的腦電信號(hào)存在差異，利用這種差異可以解碼運(yùn)動(dòng)想象任務(wù)。基于運(yùn)動(dòng)想象的腦機(jī)接口具有其明確的生理學(xué)特征，無(wú)需外界刺激，僅依靠操作人員自發(fā)的意識(shí)任務(wù)即可完成，對(duì)操作人員來(lái)說(shuō)最為自然、舒適，因此受到眾多研究人員的關(guān)注。

在基于運(yùn)動(dòng)想象的腦機(jī)接口中，操作人員是基礎(chǔ)。操作人員必須通過(guò)自發(fā)的意識(shí)任務(wù)產(chǎn)生可區(qū)分的大腦活動(dòng)模式，然后，通過(guò)機(jī)器學(xué)習(xí)識(shí)別腦電信號(hào)的特征，從而最大限度地區(qū)分操作人員的意圖。操作人員自發(fā)的運(yùn)動(dòng)想象腦機(jī)接口控制被廣泛認(rèn)為是一種技能，且操作人員對(duì)于該技能的掌握程度是解釋腦機(jī)接口性能的一個(gè)關(guān)鍵因素。這種技能被定義為操作人員通過(guò)運(yùn)動(dòng)想象產(chǎn)生可區(qū)分的腦電信號(hào)模式的能力，這種模式在不同的想象任務(wù)中是不同的，在同一個(gè)想象任務(wù)中是穩(wěn)定的，操作人員只有掌握了這種技能，才能在操作BCI的過(guò)程中誘發(fā)出可靠的MI-腦電信號(hào)。

然而，缺乏經(jīng)驗(yàn)的操作人員很難在首次使用BCI時(shí)就展現(xiàn)出很強(qiáng)的控制MI-BCI的技能，需要在學(xué)習(xí)過(guò)程中慢慢地掌握。研究表明，操作人員可以通過(guò)反饋觀察，以一種潛意識(shí)的方式逐漸掌握該技能，即想象任務(wù)的規(guī)則是操作人員自己在學(xué)習(xí)過(guò)程中獲得的。因此，給操作人員一種精確量化的實(shí)時(shí)反饋可以大大提升操作人員的學(xué)習(xí)效率，操作人員可以通過(guò)反饋來(lái)不斷學(xué)習(xí)并調(diào)整自身的想象任務(wù)策略。

MI-BCI的反饋訓(xùn)練有很多種形式，包括視覺(jué)反饋、觸覺(jué)反饋、聽(tīng)覺(jué)反饋、通過(guò)虛擬現(xiàn)實(shí)和游戲反饋、多模式反饋等。其中，觸覺(jué)反饋和聽(tīng)覺(jué)反饋的有效性至今未得到驗(yàn)證；通過(guò)虛擬現(xiàn)實(shí)或者游戲進(jìn)行反饋時(shí)，產(chǎn)生的復(fù)雜刺激可能會(huì)導(dǎo)致一些潛在的未知缺陷，例如認(rèn)知過(guò)載；視覺(jué)和聽(tīng)覺(jué)相結(jié)合的多模式反饋可能也并不有效，因?yàn)檎麄€(gè)多個(gè)不一致的信息源可能會(huì)增加認(rèn)知負(fù)荷和錯(cuò)誤。視覺(jué)反饋是最常用的反饋訓(xùn)練方法，傳統(tǒng)的視覺(jué)反饋方式是通過(guò)反饋條的移動(dòng)、反饋點(diǎn)的位置、小球的位移等給操作人員提供反饋信息，這些視覺(jué)反饋方法都依賴于機(jī)器學(xué)習(xí)的分類(lèi)，也有部分研究將操作人員任務(wù)態(tài)期間的腦電地形圖等生理信息作為反饋信息呈現(xiàn)給操作人員。然而，這些反饋信息只在同一個(gè)訓(xùn)練階段中持續(xù)，在下一個(gè)訓(xùn)練階段開(kāi)始時(shí)，之前訓(xùn)練階段的反饋信息全部清除，這可能導(dǎo)致操作人員無(wú)法從之前的訓(xùn)練實(shí)驗(yàn)中持續(xù)學(xué)習(xí)。并且，隨著實(shí)驗(yàn)進(jìn)行，操作人員的注意力不可避免地降低，但是，注意力的集中程度在運(yùn)動(dòng)想象過(guò)程中起著重要的作用。因此，如果操作人員之前的表現(xiàn)也呈現(xiàn)在屏幕上，可以鼓勵(lì)他們表現(xiàn)得比之前更好，從而在很大程度上避免注意力不集中的問(wèn)題，提高訓(xùn)練效率。但是由于操作人員的生理因素以及環(huán)境等的影響，不同訓(xùn)練階段采集的腦電信號(hào)之間可能會(huì)存在差異，可能不具有可比性，因此，將遷移學(xué)習(xí)應(yīng)用到反饋訓(xùn)練中，對(duì)不同訓(xùn)練階段的腦電信號(hào)進(jìn)行仿射變換，使其相對(duì)于單位矩陣居中，從而具有可比性。目前已有的反饋訓(xùn)練方法大多只關(guān)注當(dāng)前訓(xùn)練階段的反饋，尚未見(jiàn)到繼續(xù)使用之前訓(xùn)練階段反饋信息的反饋訓(xùn)練的研究。

基于以上研究背景，本發(fā)明提出了一種基于遷移學(xué)習(xí)的運(yùn)動(dòng)想象反饋訓(xùn)練方法，該方法對(duì)每個(gè)訓(xùn)練階段的腦電信號(hào)協(xié)方差矩陣進(jìn)行仿射變換，從而使不同訓(xùn)練階段之間的數(shù)據(jù)具有可比性，計(jì)算變換后的腦電信號(hào)協(xié)方差矩陣之間的黎曼距離，并將得到的距離矩陣降維可視化，最終呈現(xiàn)在屏幕上給操作人員提供反饋。

發(fā)明內(nèi)容